Еврейское кладбище в Николаеве было частью городского некрополя — нескольких кладбищ, располагавшихся на окраине города по берегу Ингула. Кладбища существовали с момента основания города в конце XVIII века. Южную часть некрополя занимали еврейское, караимское и мусульманские захоронения.

С развитием города некрополь оказался в городской черте и в январе 1972 года городские власти объявили о закрытии кладбищ и частичном перезахоронении до конца 1970-х годов. На момент закрытия еврейское кладбище насчитывало чуть более 600 могил. Еврейское и караимское кладбища оказались в зоне застройки. На месте первого появился городской зоопарк, а второго — трамвайный парк. От еврейского кладбища оставался небольшой участок в 4 га.

В 1990-х власти провели перезахоронения, и еще часть еврейского кладбища была отдана под строительство многоэтажного жилого дома. Со второй половины 1990-х на месте кладбища проводились массовые мероприятия, устраивались представления и располагались приезжие аттракционы.

В 2014 году городской совет отдал участок земли, на котором располагалось кладбище, в аренду коммерческой фирме на три года. Последняя начала строительство автостоянки и частично перегородила проход к оставшейся части кладбища. Еврейская община города начала активную кампанию по недопущению застройки территории еврейского кладбища. В 2015 году добровольцы провели субботник и привели в порядок оставшиеся могилы. К борьбе за сохранение кладбища подключились еврейские общины 29 стран.

В результате, в 2017 году городские власти не продлили договор аренды земли, а коммерческая фирма судилась с городом, пытаясь добиться пролонгации документа.

Захоронения каталогизированы. В электронном реестре 341 захоронение. Среди них на четырех не сохранились даты рождения и смерти. Остались только имена и фамилии: Краснянский, Яновский Вова, Вассерман Эммануил Соломонович и Омашпольская Элеонора Яковлевна.

На трех могилах сохранились даты, но нет фамилий. Это захоронения Александра Марковича (1910—1956), Михаила Нестеровича (1919—1959) и Эммы Борисовны (1919—1956).

На пяти могилах сохранились лишь даты погребения. Наиболее ранняя из них датирована 1941 годом и принадлежит Резнику С.Ф., а поздняя — Рудого Ильи Яковлевича, захороненного в 1960 году. На могиле Каплун Кати Марковны (1923 года рождения) не сохранилась дата погребения.

Еще порядка 27 памятников содержат лишь фамилии и инициалы усопших.