Побудувати будинок наказав командувач Чорноморського флоту – адмірал Олексій Грейг. Будівлю було признано для проведення прийомів, балів і дозвілля морських офіцерів. Тут була своя велика бібліотека, функціонувала музична школа, працювали класи для юнкерів. За довгі роки Будинок морських офіцерів побачив чимало письменників, музикантів та інших відомих особистостей. Тут виступали Микола Римський-Корсаков, Модест Мусоргський, адмірал Павло Нахімов і батько Анни Ахматової – Андрій Горенко. Нині будинок офіцерів морського флоту потребує реконструкції. Міська влада планує облаштувати тут Народний дім культури і відпочинку.