Первомайский краеведческий музей был открыт по инициативе ученого-археолога П. Харламповича в 1927 году. Основу музейной коллекции составили материалы, собранные во время археологических экспедиций 1927-1932 годов. К началу Второй мировой войны в музее хранилось более 20 тысяч предметов. К сожалению, за годы войны коллекция была утрачена, поэтому в течение длительного времени в городе не было музея. Только осенью 1972 года был открыт краеведческий музей, который работал на общественных началах. Экспозиция размещалась в трех небольших комнатах. Музей стал очень популярным среди жителей города, его фонды быстро пополнялись, поэтому возникла необходимость увеличить площадь. В 1976 году решением городского совета было выделено новое помещение, в котором музей функционирует и сейчас. В июне 1985 года обновленный Первомайский краеведческий музей был открыт для посетителей.