Розмістився археологічний музей в одному з будинків, що входять до заповідника "Глухів", – відреставрованій садибі козацького роду Кочубеїв. Цей будинок у стилі неокласицизму побудований у 1904 році. Нині будівля – кращий зразок цього стилю зі збережених у Глухові будівель. Ідея створення глухівського сховища старожитностей виникла в 2002 році, коли до фондів заповідника надійшли знайдені під час археологічних розкопок на території міста і його околиць фрагменти керамічного посуду часів стародавньої Русі, виготовленої на гончарному крузі. Зберегти стародавні артефакти Глухівщини було важливо передусім для історичної науки, адже межиріччі Сейму та Десни – найменш досліджена територія на карті Сумщини. Нині в музеї представлено археологічну спадщину регіону від часів палеоліту до I тисячоліття нашої ери, велику експозицію артефактів періоду Київської Русі X-XIII століть і Великого князівства Литовського XIV-XV століть. Завершальне зібрання старожитностей – період XVII-XVIII століть – зліт розвитку Глухова, представлений побутовими речами та знаряддями праці глухівчан. Є також солідна колекція будівельних матеріалів різних періодів історії міста. Співробітники проводять екскурсії не тільки в музеї, а й містом.