Музей було створено у 1870 році, а відкриття відбулося в 1883 році. Установу відкривав один із викладачів міського реального училища на прізвище Ястребов. Він же і став першим завідувачем. Музей було відкрито в день його призначення. Архітектура будівлі належить до епохи раннього модерну, а інтер’єр виконано у стилі бароко. Є легенда, що колишній господар будинку не встиг прожити в ньому ні дня, оскільки помер як тільки вперше перейшов поріг вітальні. Але головною особливістю музею є кунсткамера приватного колекціонера й любителя старожитностей А. Ільїна. Виставкові зали заповнені зборами археологічних знахідок, іконами й живописом