Как известно, во времена Российской империи помещикам иногда принадлежали целые села. Рыжавка была во владении господ Мощенских, пока в 1846 году они не продали деревню Серафиму Косовскому. Этот вельможа профинансировал строительство каменной Покровской церкви. В 1851 году трехлетние работы были завершены окончательно, и православный храм увидел свет. Ныне культовое сооружение находится на определенном расстоянии от центра поселка, поэтому путешественникам нужно заранее узнать к нему дорогу. Церковь сейчас действующая, там регулярно проводятся богослужения для местных прихожан, а также торжественные обряды.