Здание было построено в XVIII веке по указу Александра I, в стиле позднего классицизма. Изначально в нем размещались штабы военных поселений Харьковской губернии, а также несколько корпусов военных топографов. Здесь в свое время проходил обучение будущий художник Илья Репин. После упразднения военных поселений в здании в разное время функционировали суворовское училище, школа летного офицерского состава, учебный центр для пограничных войск. Недавно часть здания отреставрировали, обновили фасад и несколько внутренних помещений. Сейчас здесь работает постоянная художественная выставка музея И. Репина.