Согласно источникам, именно в здании средней школы № 4 располагалась венгерская королевская гимназия для мальчиков. Сооружение было построено в популярном в те времена архитектурном стиле барокко, строили здание по проекту архитектора Эдона Лехнера. Конструкция здания имеет два крыла, а фасад украшает очень красивая лепнина с орнаментами в виде птиц и растений. В июле 1991 года перед входом в учебное заведение был установлен бюст Лайоша Кошута работы венгерского скульптора Арпада Шомоди. Именно его имя и носит современная средняя школа № 4.