Костел розташований у самому центрі міста. У 1786 році його побудували на місці раніше зруйнованого католицького храму. Після польського повстання, що сталося в 1833 році, домініканський монастир ліквідували, а святиню передали православній громаді. Незабаром будівлю дещо перебудували, додавши в його зовнішній вигляд класичні риси православної церкви. У 1835 році церкву освятили на честь Різдва Христового. Після революції радянська влада закрила храм, у будівлі розмістився міський театр, пізніше – дитяча спортивна школа. З 1991 року колишній костел домініканців є чинним кафедральним собором Свято-Різдва Христова. Серед місцевих жителів ходять легенди, що граф Потоцький добирався до костелу на кареті підземною дорогою, що була викопана прямо від його палацу. Однак якщо підземні ходи й існували насправді, то вони не збереглися.