Коли в жодному із семи київських чоловічих монастирів, що існували на той час, його не прийняли, повернувся Феодосій до рідного Василькова, вирив собі печеру біля Замкової гори, де і почав жити відлюдником. Пізніше він став учнем Святого Антонія Печерського і настоятелем Києво-Печерської лаври. За переказами, поруч із печерою Феодосія було джерело, який він своїми руками розчистив і поглибив, побудував колодязь. У 1832 році над цим джерелом побудували невелику каплицю, до якої щорічно в день вшанування пам’яті Преподобного Феодосія Печерського 3 травня (16 травня по новому стилю) відбувалися хресні ходи з усіх церков міста. Радянською владою каплиця була зруйнована, але в 2001 році її відновили. Зараз неподалік від джерела побудована ще й церква Святого Миколи Чудотворця.