Музей був створений на базі найбільшого палацово-паркового комплексу онука генерал-майора Василя Степановича Попова, який у кінці XVIII століття й заснував поселення, яке назвали згодом Василівкою. Василь Павлович Попов почав будівництво замку через півстоліття, у 1864 році. Будівництво було закінчено в 1884 році. Будівлі поєднують в собі елементи різних стилів: романського, готичного, бароко. Головною будівлею був чотириповерховий палац із п’ятьма вежами, винними погребами, лазнями, бальним залом, дзеркальними кімнатами і картинною галереєю. У 1918 році тут були пограбовані всі цінності, у 1934 році вилучено всі дерев’яні конструкції для будівництва Будинку культури. Тоді замок залишився без даху і перекриттів. Остаточно він був зруйнований у 1941–1945 роках. Музей тут був створений у 1993 році і займає приміщення західного флігеля, де раніше жила прислуга.