Кам’яна будівля із дзвіницею збудований на місці старого дерев’яного. Разом із собором його оточує стіна з вхідними воротами. Всі ці будови розташувалися на пагорбі поруч з міськими валами і є своєрідним архітектурним комплексом так званого "замочка" – укріпленої резиденції волинських єпископів. Єпископська резиденція була відреставрована в 1969–1971 роках: її обклали цеглинами і поштукатурили. Двоповерхова будівля зроблена у формі літери "Г", прикрашене ризалітом на південному фасаді і контрфорсами на східному і південному фасадах. Прилягає до нього квадратна у плані дзвіниця з коридорним внутрішнім плануванням, яка має чотири яруси. Споруда є справжньою архітектурною окрасою міста.