Будівлю Костелу Пресвятої Трійці споруджено в архітектурному стилі ренесанс з елементами інтер’єрного бароко і готичними фрагментами. Її було зведено на внески заможного сімейства Потоцьких у 1634 році. Потоцькі відіграли значну роль у відродженні та житті самого міста. У 1667 році відбулася знаменита історична Битва під Підгірцями, після чого костел знову потребував реконструкції. У 1860-1890 роках проходили відновлювальні роботи: відреставрували дзвіницю, встановили новий вівтар, духовий орган. На сьогоднішній день в Олеському замку досі зберігаються кам’яні скульптури ангелів, які прикрашали зовнішні стіни костелу. Він ще багато разів за свою історію змінював своїх градоначальників й архітекторів, але досі не набув свого колишнього вигляду. За довгі роки будова зазнала багато руйнацій і реконструкцій, але зберегла свої основні архітектурні риси.