Середина XIX століття стала для Сум початком будівництва садиби і саджання дерев довкола неї. Тоді І. Асмолов вирішив купити землю в центрі міста для будівництва своєї резиденції. Будинок будували відносно недовго, а от дерева для парку збирали з усього світу. Тут разом з місцевими деревами росли екзотичні. Зараз у парку налічується близько 100 хвойних і листяних дерев, а також 30 сортів бузку. Нині будинок Асмолова є одним з корпусів диспансеру радіаційного захисту населення. Парк і садиба І. Асмолова є одними з найгарніших пам’яток садово-паркового мистецтва у місті.