Стародавня фортеця виконувала важливу роль в обороні міста, постійно зазнавала ворожих нападів і нерідко ставала ареною для жорстоких боїв. Так, наприклад, в 1648 році військо під командуванням козацького ватажка Максима Кривоноса три дні штурмовалр фортецю і лише на четвертий день за допомогою місцевого населеня її вдалося підкорити. Полонська фортеця, як і багато інших оборонних замків, складається з безлічі підземних ходів, що ведуть в різні частини міста. Кажуть, що ці ходи настільки широкі, що по ним може проїхати цілий кінський віз. Здійснювалися неодноразові спроби дослідити підземні ходи, деякі вдалося розкопати, але по причині дефіциту повітря і постійних обвалів більшість з них так і залишилися недослідженими. Перед Першою світовою війною місцеві активісти знайшли в підземеллі муровану кімнату з десятками людських кісток. Очевидно, ще за часів польської влади це місце використовувалося в якості в’язниці, з якої в’язні так і не змогли вийти.