Під час реставрації Рихтівського замку було знайдено табличку, де вказувалася дата початку його будівництва – 1507 рік. Це період панування шляхтичів Лянцкоронських. Від кінця XVII століття по середину XVIII замок належав роду Гумецьких, представники якого брали участь у боях з турками. У період турецької окупації Поділля в 1672-1699 роках споруду було сильно пошкоджено. У джерелах згадано про напад турків на Рихтівську фортецю в 1762 році, під час якого загинуло 54 людини, а сам замок було пограбовано. Потім його відновили на початку XVIII століття. Існує версія, що під час володіння замком Головінських-Підвисоцьких у XIX столітті його стіни розібрали, щоби спорудити палац, а від фортеці лишилися тільки кутові вежі. На початку ХХ століття перебудований палац належав земству і використовувався як лікарня. Під час Другої світової війни замок перетворили на руїни. Зараз від нього частково збереглися тільки вежі.