Згідно з деякими історичними джерелами, вперше католицький храм у Ромнах був побудований князем Єремією Вишневецьким у першій половині XVII століття. Однак наступні буремні роки не зберегли святиню. Поява костелу Непорочного Зачаття Пресвятої Діви Марії датується 1910 роком. Костел у той час мав високу башту, його територія була огороджена. Радянська влада передала будівлю храму у розпорядження міністерства освіти, яке розмістило в ньому майстерні місцевого політехнічного технікуму. Тільки з 1999 року католицька святиня знову відкрита для парафіян.