На початку ХХ століття будівлю звели спеціально для начальника адміралтейства Катасанова. Після розформування Чорноморського адміралтейства будинок спорожнів і служив приміщенням архіву для губернського відомства. Архієрейським будинок став тільки в 1864 році, коли духовне відомство викупило його і за власний кошт зробило у його приміщеннях капітальний ремонт. За десять років після закінчення ремонтних робіт і зведення домашньої церкві, будівля була освячена на честь Касперівської ікони Божої Матері і великомучеників Димитрія Солунського і цариці Олександри. Настоятель церкви при архієрейському будинку єпископ Прокопій був страчений у катівнях НКВС під час гонінь на служителів церкви, і тільки в 1996 році православна церква канонізувала його.