С первых лет существования музея здесь проводились исторические выставки и экскурсии. Во время Второй мировой войны оккупационные войска сожгли здание, а половину экспонатов вывезли. По окончании войны сотрудники начали восстанавливать музей и его фонды, многие экспонаты были переданы небезразличными жителями города, предприятиями и колхозами. Все это время музей был закрыт для посетителей, он открылся только в 1951 году. В 1972 году он переехал в новое помещение, были расширены экспозиции, созданы новые тематические залы. Со временем музей начал принимать участие в археологических раскопках и исследованиях. Сейчас краеведческий музей имеет два отделения: дом А. П. Чехова в Сумах и музей П. И. Чайковского в поселке Низы (Сумской район). На данный момент проводится активная научная и образовательная деятельность, направленная на развитие музея, пополнение экспозиций и сохранение исторического и культурного наследия области.