Точна дата будівництва не уточнюється. Однак відомо, що будинок змінив кілька власників. Спершу ним володів прем’єр-майор Гарін, потім Олександр Самойлов, племінник Потьомкіна. Тоді ж тут з’явилися стайні, огорожа, госпбудівлі. Наступним гостем став Олександр Суворов, і відтоді за будинком закріпилася назва будинку Суворова. Про це також нагадує меморіальна дошка і пам’ятник Суворову, встановлений на початку вулиці, названої на його честь. Пізніше тут розміщувалася друкарня, губернське правління, архів, ОСОАВІАХІМ, педінститут. Зараз тут розташовано переважно комерційні організації.