Во время пребывания в 1742 году в Люблине Яблоновский познакомился с представителями монашеского Ордена капуцинов и пригласил их в свой городок. Уже в ноябре того же года был построен деревянный монастырь с часовней. Возведение каменного кляштора и костела Святого Антония завершилось в 1757 году. При монастыре были открыты конвикт с классами философии и риторики, школа для сирот, больница. В период австрийского правления обитель пришла в упадок, и в 1784 году капуцины оставили ее. В некоторых источниках утверждается, что примерно в это время кляштор передали в распоряжение сестер милосердия Ордена хариток, а костел – греко-католической общине города. С приходом советской власти монастырь в Мариямполе был закрыт. В 1946 году в его сооружениях разместили детский приют. А в 1980-м его заменила женская исправительная колония, которая находится там до настоящего времени, поэтому смотреть на сооружение можно только на расстоянии.