Точная дата строительства не уточняется. Однако известно, что дом сменил несколько хозяев. Первоначально им владел некто премьер-майор Гарин, затем племянник Потемкина Александр Самойлов. Тогда же здесь появились конюшни, ограда, хозпостройки. Следующим постояльцем стал Александр Суворов, и за зданием с тех пор закрепилось название дома Суворова. Об этом также напоминает мемориальная доска и памятник Суворову, установленный в начале улицы, названной в его честь. Позже здесь размещалась типография, губернское правление, архив, ОСОАВИАХИМ, пединститут. Сейчас здесь находятся преимущественно организации коммерческого профиля.