Зведено казарми у 1788 році під керівництвом коменданта Яна де Вітте і архітектора Станіслава Завадського. До 1816 року в споруді знаходився міський військовий гарнізон. Після 1834 року на території побудовано господарські будівлі за проектом архітектора Симеона Учти. Згодом казарми втратили оборонне значення. Впродовж століття будівлю використовували у якості шпиталю. Після 1918 року спорудження перетворили спочатку на хлібозавод, а потім – на тютюнову фабрику. Нині казарми є однією з визначних пам’яток мальовничого міста Кам’янець-Подільський.