Усадьба перешла в пользование семейству Вильга в XVIII веке. Главным украшением имения служил красивейший парк со зверинцем. В XIX веке усадебный дом сильно пострадал при пожаре, сохранив лишь врата. После пожара замок восстановили. Но во времена войны его практически не пощадили и разрушили основные строения. В стенах замка размещалась немецкая штаб-квартира. В послевоенные годы здание принадлежало разным государственным учреждениями и со временем утратило свой образ, многое было разворовано и разрушено. В 2006 году Усадьба Вильгов внесена в список памяток архитектурно национального значения. На сегодняшний день Усадьба не действует и требует реставрационных работ.