В XIV веке по приказу литовского князя Владимира Ольгердовича, обосновавшегося в то время на склонах Днепра, на этом месте был возведен деревянный замок. Позже на его месте возвели замок воеводы Адама Киселя, а еще позднее —фортификационное сооружение. Так что свое название гора получила неслучайно.Интересна таинственная история ступеней, которые ведут на Замковую гору. Они начинаются именно с Андреевского спуска и поднимаются на самую вершину. По легенде, архитектор, которая проектировала лестницу, сошла с ума — ей мерещились страшные видения. Поговаривают, что и сегодня после каждой реконструкции оказывается, что одна-две ступеньки таинственным образом исчезают… По данным археологов, поселение на Замковой горе существовало еще в ІІІ тыс. до н. э., однако лишь со второй половины I тысячелетия н. э. далекие предки киевлян обосновались на этой горе надолго. С этого времени вплоть до XVII столетия гора постоянно была застроена. Очередное событие потрясло эту местность в 1651 году, когда княжеский замок оказался полностью уничтожен восставшими казаками. Новые власти восстанавливать сооружение не стали, а о самой Замковой горе вспомнили только в 1816 году. Правда, основали здесь уже не поселение и не замок, а кладбище.