Спочатку палац, як і весь населений пункт Антопіль, був власністю польського князя, спадкоємця Рюриковичів, Антонія Яна Святополка-Четвертинського, брацлавського каштеляна. Він побудував його в 1830 році. Потім, приблизно в 1870-х роках, маєток перейшов до нових господарів – Ярошинських. Тоді були зведені господарські будівлі, що збереглися до сьогодні: голубник, гараж, стайня, склад, льодовик, а також цегляна огорожа і ворота. За СРСР тут був будинок відпочинку, а потім – інтернат для душевнохворих, що діє до сьогодні, що утруднює огляд внутрішніх приміщень палацу. Оточує палац ландшафтний парк, який є майже ровесником палацу. Особливістю парку є ясени-гіганти коло двох метрів у діаметрі, в’язи, трьохсотлітні дуби, каштани. Ще тут знаходиться Пушкінський дуб, біля якого відпочивав Олександр Пушкін під час свого візиту до садиби в 1821 році. За переказами, тоді поет заблукав на полюванні. Також у парку знаходиться унікальний каскад ставків.