Церковь была построена в 1805 году по инициативе военного губернатора Николаева и Севастополя Ивана Ивановича де Траверсе. Средства на постройку храма собирали купцы, мещане города и представители адмиралтейства. Через год церковь была освящена. В 1858 году при поддержке адмирала Аркаса, купцов Соболева и Бартнева храм был расширен и реконструирован. Всехсвятская церковь представляет собой каменное одноэтажное здание крестообразной формы. Территория храма обнесена чугунной оградой. Здесь размещена часовня, внутри которой находится глубокий подвал, ранее служивший моргом. В склепе церкви хранится прах градостроителя Николаева М. Фалеева. Неподалеку от храма можно найти фамильный склеп Аркасов.