Здание дворца было построено в 20-40-х годах XIX века. Более точную дату строительства назвать сложно. Существует мнение, что оно было завершено уже после смерти Витта. Иван Осипович Витт – известная и неординарная историческая личность. Портрет русского военного деятеля хранится в петербургском Эрмитаже. Заниматься проектированием своего дворца он поручил архитектору Ф. Баффо. По этому поводу ведутся дискуссии, ведь достоверность данного факта не подтверждена архивными исследованиями. Некоторые источники приписывают авторство архитектору Г. Торричелли.Строение выдержано в неоготическом архитектурном стиле, популярном во времена А. Пушкина и М. Воронцова. Декоративная лепнина украшает потертые стены. Рельефные выступы и декоративные шпили добавляют зданию аристократичности. Пастельный персиковый цвет постройки гармонирует с белыми зубцами крепостных стен. Необычные ворота, изящные окна, колонны и арки подчеркивают помпезность старинного дворца.В дореволюционные времена во дворце жили потомки Витта, позднее там располагалось Общество пароходства и торговли. Сегодня архитектурный памятник служит резиденцией его преемника – Черноморского морского пароходства.