Будівля була побудована в XVIII столітті за указом Олександра I, в стилі пізнього класицизму. Спочатку в ньому розміщувалися штаби військових поселень Харківської губернії, а також кілька корпусів військових топографів. Тут свого часу навчався майбутній художник Ілля Рєпін. Після ліквідації військових поселень в будівлі в різний час функціонували суворовське училище, школа льотного офіцерського складу, навчальний центр для прикордонних військ. Нещодавно частину будівлі відреставрували, оновили фасад і кілька внутрішніх приміщень. Зараз тут працює постійна мистецька виставка музею І. Рєпіна.