Фортифікаційний комплекс разом з воротами звели на початку XVII століття. Будівництвом керувало сімейство Радзивіллів, тому в спорудженні простежується їх любов до розкоші, краси і величі. Захист міста складався з двох потужних воріт, стін і земляних валів. Олика дуже постраждала від пожеж 1803 і 1 823 років, а також під час Першої світової війни. Все, що залишилося від оборонного комплексу – лише в’їзні ворота. Частково споруди були зруйновані у 1960-х роках. Розібрані північна вежа, частина огорожі. Проте, судячи по тому, що залишилось наразі, можна скласти думку щодо архітектури і загального стилю стародавньої будови. Стіни були складені з міцної цегли та утворювали прямокутник, який захищав територію Троїцького костелу. Задля полегшення стін в кладці з внутрішньої сторони залишалися спеціальні ніші. По краях розташовувались круглі двоярусні вежі-каплиці. Донині збереглася лише одна, північно-східна вежа та частина прилеглої стіни. Нині питання реставрації архітектурного об’єкта є вкрай важливим, адже без проведення відновлювальних робіт процес руйнування продовжиться. Однак, мецената, готового інвестувати гроші в реконструкцію, поки не знайдено.