У ІІІ-ІV століттях Берислав був столицею Остготского королівства Данпарштадт. У XV столітті він трансформувався в литовську митницю. А з XVI століття територію захопило татарське військо і влаштувалося в фортеці Кизи-Кермен. Однак 1695 року об’єднаному війську І. Мазепи та воєводи Шереметьєва вдалося відвоювати місцевість та вигнати татар. Ворожу фортецю знищили. Те, що залишилося від неї, можна побачити в центральному парку. Там же в 1784-1787 роках були встановлені пам’ятний дзвін на честь Козацького війська та меморіальний хрест. Поруч кам’яна табличка. За однією з версій, дзвін виготовлений із захоплених татарських гармат.