Говорят, что первые монахи обосновались в здешних горных пещерах еще в XIV веке, хотя первые документальные упоминания датированы XVII веком. Горы над рекой привлекли аскетов красотой и необитаемостью. По сути, это были первые поселенцы села Улашковцы. Это объясняет, почему так поздно появились письменные подтверждения проживания здесь людей: рукописи начали вести только с образованием села. Попасть в жилище монахов можно поднявшись по крутым склонам и уступам холмов. Там сохранилось многое от древних иноков. На первом ярусе пещер расположена небольшая келья с окном на реку. Первоначальный вход обрушился, поэтому двери отсутствуют. К скале пристроена часовня или церковь Рождества Иоанна Крестителя. В кельи на втором ярусе попасть сложнее. Для этого надо опуститься метров на шесть в глубь пещеры по цепи, которую соорудили местные жители. На такое мало кто соглашается, поэтому там преимущественно обитают летучие мыши.