Государственный банк был открыт после строительства Новоплановского моста, соединявшего части города. Здание банка состоит из двух корпусов, возведенных в 1896-1901 годах. Проектировали и реализовали идею архитектор И. Калашников и губернский архитектор В. Канакотна. Один корпус, который имеет форму буквы "Г", стоит на берегу реки Смотрич, а второй, прямоугольный – выше каньона. Сам банк располагался в главном здании, а второй корпус был домом для сотрудников учреждения. Главный вход банковского корпуса украшают колоны с дорическими ордерами и фронтон, а сам фасад оформлен с помощью различных архитектурных элементов (ризалитов). Стены облицованы рустовкой, имитирующей кладку камня. Поскольку здание стоит на скале, работы по отводу грунтовых вод продолжались и после завершения строительства. Это было важно, с учетом того, что хранилища вырезали в самой породе.