Власник садиби Нафтул Коган спочатку був звичайним бідним євреєм. Він збирав мотлох і намагався на ньому заробити. І йому буквально пощастило. Одного чудового дня він знову перебирав старі речі й знайшов мішечок золота. З бідного єврея він швидко перетворився на багату людину. На ті кошти він купив аж три цукрові заводи. Один з них знаходився в селі Вищеольчедаєві. Йому сподобалися околиці, і він побудував навпроти цукрового заводу садибу для своєї родини. Виробники цукру на той час отримували чималий прибуток, тому садиба й була так багато й пишно декорована. Незважаючи на раптове збагачення, двері палацу Когана завжди були відкриті для бідних. Також тут влаштовували пишні бенкети, на яких бували відомі українські літератори. Що сталося з родиною Коганів, невідомо. Однак є відомості, що будівля була покинута до кінця Другої світової війни, а пізніше в ній влаштували дитячий садочок. 2005 року пожежа майже знищила садибу. Відтоді палац занепадає. На його відновлення потрібні мільйони, яких немає через відсутність спонсорів.