Костел є пам’ятником середньовічної архітектури. Причому збудований він був замість дерев’яного костелу XIV ст. Авторство кам’яного зодчества історики схильні приписувати Якову Бучацькому. Передбачається, що будівництво тривало протягом 1502–1517 рр. Архітектура поєднує елементи неоготики, бароко, ренесансу. Крім власне будівлі собору, тут збудовано тріумфальну арку, дзвіницю. У XVII ст., будучи під турками, кам’янець-подільський костел виконував функції мечеті. Для цього до нього прибудували мінарет. Після звільнення від загарбників у 1699 р. на мінарет поставили триметрову статую Богородиці.