В начале ХХ века здание было возведено специально для начальника адмиралтейства Катасанова. После расформирования Черноморского адмиралтейства дом опустел и служил помещением архива для губернского ведомства. Архиерейским дом стал только в 1864 году, когда духовное ведомство выкупило его и за собственные средства сделало в его помещениях капитальный ремонт. Через десять лет по окончании ремонтных работ и возведении домовой церкви, здание было освящено во имя Касперовской иконы Божьей Матери и великомучеников Дмитрия Солунского и царицы Александры. Настоятель церкви при архиерейском доме епископ Прокопий был казнен в застенках НКВД во время гонений на служителей церкви, и только в 1996 году православная церковь канонизировала его.