Кладбище было основано в конце XVIII века (приблизительно в 1798 году). В те времена это была окраина города. До сегодняшнего дня здесь сохранилось более 500 могил. Основная масса надгробий сделана из извести и цемента, некоторые выполнены из камня (известняк и гранит) и имеют растительные эмблемы и символы в орнаменте. На этом кладбище хоронили не только городских евреев, а еще и известных религиозных деятелей из других небольших поселков. В 1990-х годах на территории кладбища были выявлены групповые захоронения жертв политических репрессий, расстрелянных в 1937–1938 годах. В 1995 году здесь был установлен памятный знак. При входе на территорию кладбища расположен еще один памятник, установленный в память о массовых расстрелах евреев Бердичева в сентябре 1941 года.