Розташування замку робило його вразливим для нападу, в результаті чого він не одного разу постраждав і щоразу потребував відновлення. Так, з 1502-го по 1516-й його атакували татари. 1588 року місто Чорнокозинці отримало Магдебурзьке право. В XV–XVIII століттях замком володіли єпископи з Кам’янця-Подільського. З 1674 по 1699 року фортеця перейшла під владу турків. Після їх вигнання було проведено грандіозну реконструкцію на кошти єпископів. До замку приєднався двоповерховий палац і садиба палацового типу. Їх оточували стіни товщиною від 1,9 до 3,6 м. Сьогодні від колишньої величі споруди залишилися тільки руїни замку, вцілілі частини стін і мурована брама.