Официально евреи получили право селиться в Житомире с начала XVIII века. Уже к концу столетия они составляли треть населения, а к концу XIX века уже 46%. По данным местных краеведов в конце XVIII века в городе было три кладбища: православное, католическое и еврейское, и располагались они в районе Охримовой горы. К ХХ веку все они оказались в черте города и исчезли. На месте еврейского кладбища в 1930-х годах был построен Дом офицеров.

Кладбище, которое у местных жителей получило название Старое еврейское возникло приблизительно в конце XVIII века. Вероятно, его появление связано с закрытием кладбища на Охримовой горе. Первые захоронения на кладбище появились в начале XIX века. Располагалось кладбище в районе улицы Большой Бердичевской, неподалеку от современного микрорайона Смолянка. Действовало кладбище до 1976 года, но сохранилась возможность дозахоронений, поскольку к тому времени доля еврейского населения в количестве горожан снизилась до 3,7%. Площадь кладбища, по данным городских реестров, составляет 24 га. На нем насчитывается более четырех тысяч захоронений.

Кладбище частично пострадало от действий советской власти. В его глубине находятся могилы жертв политических репрессий 1930—1940-х годов. В годы Второй мировой войны кладбище пострадало от действий оккупантов, а в 1970-х часть территории кладбища была отдана под гаражный кооператив. Согласно данным местных краеведов, сильнее всего пострадали захоронения, которые относятся к XIX веку.

Тем не менее, на кладбище сохранились склепы ряда хасидских цадиков. В частности, раввина Аарона Житомирского, который был одним из учеников основателя хасидизма Баал Шем-Това. Также на кладбище сохранились могилы раввинов:

• Мордехая из Котельни (умер в 1913 году).
• Мордехая из Коростышева (дата смерти 1916 год).
• Моше из Коростышева (захоронен в 1920 году).
• Якова из Коростышева (умер в 1941 году).

Кладбище интересно тем, что на нем можно найти могильные памятники в виде обрубленных деревьев, а также традиционные мацевы с надписями и эпитафиями на иврите.

На кладбище более 260 могил, на которых антропонимические и хронологические данные сохранились лишь частично. Наиболее ранние из них датированы XIX веком и содержат надписи исключительно на иврите. В частности, Шимон Гершон (умер 1895), Шмуэль Айзикович (умер 1894), Цви Шмуэль (умер 1894).