З перших років існування музею тут проводилися історичні виставки та екскурсії. Під час Другої світової війни окупаційні війська спалили будівлю, а половину експонатів вивезли. Після закінчення війни співробітники почали відновлювати музей і його фонди, багато експонатів були передані небайдужими жителями міста, підприємствами і колгоспами. Весь цей час музей був закритий для відвідувачів, він відкрився тільки в 1951 році. У 1972 році він переїхав до нового приміщення, було розширено експозиції, створено нові тематичні зали. Згодом музей почав брати участь в археологічних розкопках і дослідженнях. Зараз краєзнавчий музей має два відділення: будинок А. П. Чехова в Сумах і музей П. І. Чайковського в селищі Низи (Сумський район). Наразі проводиться активна наукова та освітня діяльність, яка спрямована на розвиток музею, поповнення експозицій і збереження історичної та культурної спадщини області.