Будівлю побудовано в 1809 році в стилі суворого пізнього бароко – без надмірностей і пишного зовнішнього декору. Єдиною прикрасою був герб Ужанського комітату, який можна побачити на фронтоні. Адміністрація комітату розміщувалася в цій будівлі аж до Першої світової війни. У будинку жупанату відбулося чимало історичних подій, які вплинули на історію міста та Закарпаття загалом. Тут, наприклад, відбувся благодійний вечір, на якому вдалося зібрати гроші на перші в місті ліхтарі, з чого й почалася історія вуличного освітлення міста. За радянських часів у будівлі розміщувалися адміністративні установи, різноманітні спільноти й книжкове видавництво. З 1979 року та донині в Будинку жупанату працює найбільший Художній музей Закарпаття імені Йосипа Бокшая.