В ІІІ-ІV веках Берислав был столицей Остготского королевства Данпарштадт. В XV веке он трансформировался в литовскую таможню. А с XVI века территорию захватило татарское войско и обосновалось в крепости Кызы-Кермен. Однако в 1695 году объединенному войску И. Мазепа и воеводы Шереметьева удалось отвоевать местность и прогнать татар. Вражескую крепость уничтожили. То, что осталось от нее, можно увидеть в центральном парке. Там же в 1784-1787 годах были установлены памятный колокол в честь Казачьего войска и мемориальный крест. Рядом каменная табличка. По одной из версий, колокол изготовлен из захваченных татарских пушек.