Настоятельський корпус являє собою витягнуту вздовж південно-західного боку церковного двору двоповерхову будівлю. Вона розташована на північний захід від дзвіниці Собору Різдва Пресвятої Богородиці і на захід від самої будівлі церкви. Крім цього корпусу, збереглися також деякі інші господарські будівлі колишнього монастиря, зокрема келійний корпус і трапезний зал. Назва монастирського комплексу пов’язана з тим, що колись тут заснували фортецю монахи-відлюдники, притулком яких до цього була Мовчанська пустеля. А саме місто Путивль відомий усім завдяки знаменитому "Слову о полку Ігоревім". Саме тут на міській стіні ридала невтішна Ярославна за своїм зниклим чоловіком.