Кладовище було засноване наприкінці XVIII століття (приблизно 1798 року). У ті часи це була околиця міста. До сьогодні тут збереглося більше 500 могил. Основна маса надгробків зроблена з вапна й цементу, деякі виконані з каменю (вапняк і граніт) і мають рослинні емблеми і символи в орнаменті. На цьому кладовищі ховали не тільки міських євреїв, а ще відомих релігійних діячів з інших невеликих селищ. В 1990-х роках на території кладовища були виявлені групові поховання жертв політичних репресій, розстріляних в 1937–1938 роках. 1995 року тут установили пам’ятний знак. Біля входу на територію кладовища розташований ще один пам’ятник, встановлений у пам’ять про масові розстріли євреїв Бердичева у вересні 1941 року.