Стены крепости возвышаются над рекой Гнилопятью. Изначально они служили обороной для зданий монастыря. Для этого архитектор Ян де Витте в середине XVIII века оборудовал в них бойницы, наружные башни. В одной башне располагалась охрана монастыря, а во второй – колокольня, звук трех колоколов был слышен за 20 километров от Бердичева. Здание келий двухэтажное, из камня и кирпича, имеет квадратный внутренний дворик. Жилые помещения для музыкантов и работников костела, которые были пристроены к стенам крепости, здание школы, хозяйственные помещения – эта часть архитектурного комплекса не сохранилась. Монастырь основал в 1627 году известный в Речи Посполитой политический деятель Януш Тышкевич. Постепенно монастырь Ордена босых кармелитов стал центром религиозной и культурной жизни Правобережной Украины. В нем размещались типография, библиотека, школа. В 1941 году монастырь пострадал от пожара, в котором была уничтожена его главная святыня – икона Божьей Матери. В 1998 году Папа Римский Иоанн Павел Второй освятил ее копию, а в 1991 году часть зданий монастыря была передана римско-католической церкви в Украине. Во второй части расположен Бердичевский исторический музей.