Изначально, в 1969-м году, в память о великом музыканте была обустроена музейная комната в местном доме культуры. Мемориальный музей в усадьбе был открыт чуть позже – в 1982 году к 100-летию со дня рождения композитора. В нем представлено много личных вещей артиста, среди которых книги, коллекция икон и рушник, вышитый его женой.Кирилл Стеценко сыграл значимую роль в жизни небольшого села Веприк на Фастовщине: он учредил два хора – детский и сельский. Когда на сороковом году жизни дирижер заболел и умер от тифа, его похоронили в этом же селе возле церкви святой Параскевы. Жители Веприка и поныне бережно ухаживают за могилой великого деятеля.