Музей был создан в 1870 году, а открытие состоялось в 1883 году. Учреждение открывал один из преподавателей городского реального училища по фамилии Ястребов. Он же и стал первым заведующим. Музей открылся в день его назначения. Архитектура здания относится к эпохе раннего модерна, а интерьер выполнен в стиле барокко. Существует легенда, что бывший хозяин дома не успел прожить в нем ни дня, поскольку скончался как только впервые перешел порог гостиной. Но главной особенностью музея является кунсткамера частного коллекционера и любителя древностей А. Ильина. Выставочные залы заполнены собраниями археологических находок, иконами и живописью.