Однією з визначних пам’яток села Високі Байраки Кіровоградської області є розташована тут церква великомучеників Адріана і Наталії. Точна дата побудови невідома, оскільки всі архіви згоріли під час революції, відомо лише, що вона була споруджена на початку XX століття. Храм цегляний, побудований за типовим проектом у формі хреста. Раніше над центральною частиною височів купол із хрестом, а над бабинцем була висока дзвіниця. Церква серйозно постраждала в радянський період: у 1950-х роках знесли дзвіницю і головний купол, а будівлю храму передали на баланс колгоспу, незабаром його приміщення зайняв клуб. Лише в 1996 році церкву повернули парафіянам.