В свое время это было самое крупное хранилище боеприпасов, обеспечивающее оружием всю южную часть Российской империи. Это могущественное шестиколонное сооружение с величественными фронтонами выполнено в стиле классицизма. Ранее здание украшали портики из четырех колонн. В 1802 году в этих краях прошло масштабное землетрясение, здание арсенала было повреждено, и в 1812 году при реконструкции появились шестиколонные портики. Таким здание сохранилось до наших дней. В 1905 году в здании бывшего арсенала разместили тюрьму, при ней открыли домовую церковь для особ, отбывающих наказание. По сегодняшний день в стенах бывшей Херсонской твердыни располагается изолятор. Также тут расположен городской телецентр. Он занимает восточный корпус арсенала с 1959 года.