У середині XIX століття на території колишнього передмістя Ковалівка побудували велике військове містечко, першу цеглину якого власноруч заклав імператор Микола Перший. Там розмістилося Єлисаветградське кавалерійське юнкерське училище, в якому навчали офіцерів кавалерії. До його складу увійшли триповерховий царський палац, плац для військових парадів (тепер там Ковалевський парк), будинок офіцерських зборів, навчальний і штабний корпуси, а також манеж зі стайнями. Відомо, що в стінах цього училища служив генерал-майор Михайло Дубельт, чоловік дочки Олександра Пушкіна Наталії, з яким вона прожила дев’ять років у красивих мебльованих кімнатах третього поверху військового палацу. У радянські роки тут розміщувалося Кіровоградське авіаційне училище. Нині старовинний військовий комплекс належить Міністерству оборони України, тому оглянути його всередині може не кожен. Поціновувачам архітектури доводиться милуватися лише фасадом будівлі.