Мужская гимназия была основана в XVIII веке, и по праву считается одним из старейших образовательных учреждений Правобережной части Украины. Сначала гимназия размещалась в небольшом деревянном строении на Малой Бердичевской улице. Основателями и владельцами учебного заведения были Вацлав и Эвелина Ганские, известные меценаты Житомира того времени. Каменное здание для учебного заведения было построено в 1950 году, и через 12 лет на улице Большой Бердичевской было построено еще одно здание. В новом корпусе разместились учебные классы. Позднее к зданию пристроили флигели, чтобы разместить учебники и книги и поселить преподавательский состав. Перед главным входом обустроили палисадник с фонтаном. После реконструкции здания в 1919 году здесь размещается Педагогический институт. Большинство преподавателей, метеорологическая станция и библиотека вошли в состав нового учебного заведения.