Здание является памятником истории и архитектуры. Проектная часть разработана была в 1803 году. Через восемь лет здание представляло собой примечательный архитектурный образец эпохи классицизма. Здание органично дополнило собой пространство Круглой площади. Это единственное здание на площади, не украшенное колонным портиком на главном фасаде. Классическая планировка тех времен предполагала пребывание прислуги на цокольном этаже. Изначально планировалось, что внутренняя структура здания будет представлять собой анфиладу комнат и помещений для гостей. Для генерал-губернатора в качестве личных апартаментов отводился второй этаж. На первом этаже располагались казенные службы, канцелярия и приемная самого губернатора. Во время войны, в 1943 году, здание сгорело. Дом отстроили заново, используя старые чертежи. Перепланировкой помещений занимался архитектор М. Набойченко. Строительство продолжалось три года и завершилось в 1959 году.