Філармонія була заснована в 1944 році. У тоді ще Ленінському, а нині – Ковалівському парку міста стояв концертний майданчик, що служив сценою для філармонії у весняно-осінній період. Майданчик використовувався для гастролей циркових колективів, демонстрації художніх фільмів і документальних хронік. У 1949 році тут проходили літературні вечори, присвячені 150-річчю від дня народження О. С. Пушкіна, у яких брали участь П. Тичина, М. Рильський та інші імениті українські письменники. Будівництво власного концертного залу почалося в 1954 році. Проект будівлі розробив інженер Л. Ф. Крейтор. 14 січня 1956 відбулося офіційне відкриття концертного залу філармонії.