На территории современного мемориала еврейское кладбище существовало еще с 1903 года. Именно на нем были похоронены многочисленные жертвы погромов революции 1905 – 1907 годов, гражданской войны. Во времена СССР кладбище пополнилось могилами жертв голодомора, массовых погромов евреев в городе и по всей области, репрессий разных лет. Позднее советская власть сделала все для того, чтобы стереть кладбище с лица земли. Поэтому с 60-х годов вместо кладбища стали обустраивать парк. Только в 2008 году случайным образом историки узнали о существовании кладбища. С помощью еврейской общины останки были исследованы, а на месте находки установили данный мемориал.