Державний банк був відкритий після будівництва Новопланівського мосту, який з’єднував частини міста. Споруда банку складається з двох корпусів, зведених в 1896-1901 роках. Проектували і реалізовували ідею архітектор І. Калашников і губернський архітектор В. Канакотна. Один корпус, що має форму літери "Г", стоїть на березі річки Смотрич, а другий, прямокутний – вище каньону. Сам банк розташовувався в головній будівлі, а другий корпус слугував домівкою для співробітників закладу. Головний вхід банківського корпусу прикрашають колони з дорічними ордерами та фронтон, а сам фасад оформлений за допомогою різноманітних архітектурних елементів (різалітів). Стіни оздоблені рустуванням, що імітує кладку каміння. Оскільки будівля стоїть на скелі, роботи по відведенню грунтових вод продовжувалися і після завершення будівництва. Це було важливо, з урахуванням того, що сховища вирізали в самій породі.