Изначально дворец, как и весь населенный пункт Антополь, был собственностью польского князя, наследника Рюриковичей, Антония Яна Святополк-Четвертинского, брацлавского кастеляна. Он построил его в 1830 году. Затем, приблизительно в 1870-х годах, имение перешло к новым хозяевам – Ярошинским. Тогда были возведены хозпостройки, сохранившиеся до сегодняшнего времени: голубятня, гараж, конюшня, склад, ледник, а также кирпичная ограда и ворота. Во времена СССР здесь был дом отдыха, а затем – интернат для душевнобольных, действующий по сегодняшний день, что затрудняет осмотр внутренних помещений дворца. Окружает дворец ландшафтный парк, который является почти ровесником дворца. Характерной особенностью парка стали ясени-гиганты около двух метров в диаметре, вязы, 300-летние дубы, каштаны. Еще здесь находится Пушкинский дуб, возле которого отдыхал Александр Пушкин во время своего визита в усадьбу в 1821 году. По бытующим рассказам, тогда поэт заблудился на охоте. Также в парке находится уникальный каскад прудов.