В середине XIX века на территории бывшего предместья Ковалевка был возведен крупный военный городок, первый кирпич которого собственноручно заложил император Николай Первый. Там разместилось Елисаветградское кавалерийское юнкерское училище, в котором обучали офицеров кавалерии. В его состав вошли трехэтажный царский дворец, плац для военных парадов (теперь там Ковалевский парк), дом офицерского собрания, учебный и штабной корпуса, а также манеж с конюшнями. Известно, что в стенах этого училища служил генерал-майор Михаил Дубельт, муж дочки Александра Пушкина Натальи, с которым она прожила девять лет в красивых меблированных комнатах третьего этажа военного дворца. В советские годы здесь разместилось Кировоградское авиационное училище. Ныне старинный военный комплекс находится в ведении Министерства обороны Украины, поэтому осмотреть его внутри может не каждый. Ценителям архитектуры приходится любоваться лишь внешним фасадом здания.