Музей был создан на базе крупнейшего дворцово-паркового комплекса внука генерал-майора Василия Степановича Попова, который в конце XVIII века и основал поселение, названное впоследствии Васильевкой. Василий Павлович Попов начал строительство замка спустя полвека, в 1864 году. Строительство было закончено в 1884 году. Постройки сочетают в себе элементы разных стилей: романского, готического, барокко. Главным зданием был четырехэтажный дворец с пятью башнями, винными погребами, банями, бальным залом, зеркальными комнатами и картинной галереей. В 1918 году здесь были разграблены все ценности, в 1934 году изъяты все деревянные конструкции для строительства Дома культуры. Тогда замок остался без крыши и перекрытий. Окончательно он был разрушен в 1941–1945 годах. Музей здесь был создан в 1993 году и занимает помещение западного флигеля, где ранее жила прислуга.