У XIV-му столітті за наказом литовського князя Володимира Ольгердовича на цьому місці звели дерев’яний замок, пізніше на його місці звели замок воєводи Адама Киселя, а згодом – фортифікаційну споруду, тож історія гори завжди була пов’язана з обороною, що й відобразила її назва.Цікава таємнича історія сходів, що ведуть на гору: вони починаються просто від Андріївського узвозу і підіймаються на маківку Замкової. За легендою, архітектор, котра проектувала їх, спала з розуму оскільки їй ввижалися примари. Подейкують, що й сьогодні по кожній реконструкції оприявнюється, що декілька сходинок зникло.За даними археологів, поселення на Замковій горі існувало ще в ІІІ тис. до н. е., проте далекі предки киян оселилися тут на довгий час лише від другої половини I тисячоліття н. е. Відтоді аж до XVII-го століття гора була забудованою.Чергова важлива подія сталася тут 1651-го року, коли княжий замок знищили вщент під час козацького повстання. Нова влада не стала відновлювати споруду, а про власне Замкову гору згадали тільки 1816-го року. Щоправда, тут уже розмістився цвинтар.