Будівля, в якій зараз знаходиться літературний музей, була споруджена ще в 1907 році. Протягом століть це приміщення служило прибутковим будинком, а також використовувалося іншими орендарями. Музеєм воно стало лише в 2001 році. Більше 10 років тут проводяться дрібні ремонтні роботи всіх приміщень. В цілому тут діє вісім приміщень: п’ять віддано під експозиції і три - під виставки. Музей розповідає про життя і діяльність поетів, письменників і художників, що пов’язані з Житомирщиною. На площі 500 кв.м розташувалися чотири основні експозиції. Вони присвячені французькому письменникові О. де Бальзаку, житомирському театральному художнику І. Шевченку, поетові-перекладачеві Б. Тену і сім’ї композитора М. Скорульського.