При реставрации Рыхтовского замка была найдена табличка, где указывалась дата начала его строительства – 1507 год. Это период владычества шляхтичей Лянцкоронских. С конца XVII века по середину XVIII-го замок принадлежал роду Гумецких, представители которого участвовали в сражениях с турками. В период турецкой оккупации Подолья в 1672-1699 годах сооружение было сильно повреждено. В источниках упоминается о нападении турков на Рыхтовскую крепость в 1762 году, во время которого погибло 54 человека, а сам замок был ограблен. Затем его восстановили в начале XVIII века. Существует версия, что во время владения замком Головинских-Подвысоцких в XIX веке его стены были разобраны для сооружения дворца. От крепости остались только угловые башни. В начале ХХ века перестроенный дворец принадлежал земству и использовался как больница. Во время Второй мировой войны замок был превращен в руины. Сейчас от него частично сохранились только башни.