История современного дворца Холоневских началась еще в XV веке, когда на этой территории князь Збаражский воздвиг крепость Янов. К концу столетия она превратилась в бастион с башнями, окруженный глубоким рвом с водой. Когда в XVIII веке исчезла нужда в постройке и содержании защитных сооружений, владельцем стал Холоневский и перестроил здание. В восьмидесятых годах XVIII столетия дворец посетил король Речи Посполитой. Приход советской власти повлек за собой еще одну реконструкцию, а помещение отдали под административное учреждение. Затем здание превратили в колонию для малолетних преступников, а годами позже – в детский дом, который стал школой-интернатом.