У 1392 році житомирський замок був захоплений князем Вітовтом. Саме ця подія і стала першою згадкою про замок у літописі. Він був розташований на високому пагорбі біля берегів річки Кам’янка. До захоплення його Вітовтом містом правив воїн Житомир із роду Аскольда й Діра. Саме він і вважається засновником і міста, і замка. Щоб уберегтися від постійних грабежів і нападів був побудований замок і потужне укріплення навколо нього. За всю його історію замок неодноразово руйнували, але потім знову відновлювали, навколо нього розросталося місто. У 1802 році в замку сталася сильна пожежа, яка зруйнувала повністю всю фортецю. Зараз на цьому місці розташований мальовничий міський парк, що приваблює щодня сотні відпочивальників.