Будівля художнього музею була зведена в кінці XIX - початку XX століть. Автор будови - сумський інженер-архітектор Густав Карлович Шольц. Спочатку в двоповерховому особняку розташовувався Державний банк. І лише 1 березня 1920 року всі приміщення банку зайняв художній музей. Основоположником музею був художник і педагог Никанор Харитонович Онацький. Свого часу Никанор був учнем самого Іллі Рєпіна, чиї роботи можна побачити в музеї. Основою колекції стали роботи з приватних зібрань міста і повіту, зокрема твори з колекції О. Гансена. На сьогоднішній день в восьми різних залах музею зберігається понад 15 тисяч експонатів, серед яких твори живопису українських та зарубіжних авторів, колекція нумізматики, а також роботи декоративно-прикладного мистецтва і скульптури.