Як відомо, за часів Російської імперії поміщикам іноді належали цілі села. Рижавка була у володінні панів Мощенських, доки в 1846 році вони не продали село Серафиму Косовському. Цей пан профінансував будівництво кам’яної Покровської церкви. У 1851 році трирічні роботи було завершено, і православний храм побачив світ. Нині культова споруда розташована на віддалі від центру селища, тому мандрівникам ліпше заздалегідь дізнатися до неї дорогу. Церква на цей час діє, там регулярно відбуваються богослужіння для місцевих парафіян та урочисті обряди.