Під час перебування в 1742 році в Любліні Яблоновський познайомився з представниками чернечого Ордена капуцинів і запросив їх у своє містечко. Уже в листопаді того ж року побудували дерев’яний монастир з каплицею. Зведення кам’яного кляштору та костелу Святого Антонія завершилося в 1757 році. При монастирі були відкриті конвікт з класами філософії і риторики, школа для сиріт, лікарня. У період австрійського правління обитель стала занедбаною, і в 1784 році капуцини залишили її. У деяких джерелах стверджується, що приблизно в цей час кляштор передали в розпорядження сестер милосердя Ордена хариток, а костел – греко-католицькій громаді міста. З приходом радянської влади монастир у Маріямполі закрили. У 1946 році в його будівлях розмістили дитячий притулок. А в 1980-му його замінила жіноча виправна колонія, яка знаходиться там до теперішнього часу, тому дивитися на споруду можна лише на відстані.