На території сучасного меморіалу єврейський цвинтар існував ще з 1903 року. Саме на ньому було поховано численних жертв погромів революції 1905 – 1907 років, громадянської війни. За часів СРСР цвинтар поповнився могилами жертв голодомору, масових погромів євреїв у місті та по всій області, репресій різних років. Пізніше радянська влада зробила все для того, аби не залишити ані сліду від цвинтаря. Тому з 60-х років замість цвинтаря почали облаштовувати парк. Тільки в 2008 році випадково історики дізналися про існування кладовища. За допомогою єврейської громади рештки було досліджено, а на місці знахідки встановили цей меморіал.