В Херсоне в различные годы действовали две еврейских кладбища. В конце XVIII власти основали городской некрополь в районе Забалка. Название местность получила из-за того, что от города ее отделял овраг (балка по-украински).

Кладбище получило название Забалковское (ныне — Корабельный район города). На нем были выделены еврейский и караимский участки. Еврейский получил название Старо-еврейское кладбище. Его можно увидеть на генеральном плане города, датированном 1872 году. В ХХ веке попало под застройку и не сохранилось.

В конце XIX века евреи составляли 30% населения Херсона. Общине одного кладбища было мало. Городские власти на северной окраине района Забалка выделили два больших участка для похорон членов еврейской общины. Кладбище получило название Ново-еврейское. Его площадь составляла 63,4 кв. м. На кладбище имелись синагога и домик смотрителя.

Со временем кладбище в городе стали называть Еврейским. Летом 2021 года местная община установила на кладбище табличку, обозначив его как «Старе єврейське кладовище м. Херсон» (в переводе — Старое еврейское кладбище г. Херсон).

Уже в первой трети ХХ века городские власти констатировали, что Ново-еврейское кладбище пришло в упадок. В отчете коммунальных служб, датированном 1926 годом, сказано, что за последние десятилетие кладбище пришло в запустение, заросло деревьями и кустарниками. Многие могилы разграблены местными жителями, уносившими с погребений мрамор и цинк.

Пострадало кладбище от действий оккупантов во время Второй мировой войны. Со второй половины ХХ века еврейское население Херсона уменьшалось и в середине 1960-х городские власти закрыли Еврейское кладбище для захоронений. С тех пор кладбище приходило в запустение. Его территория уменьшилась на треть. На части кладбищенских земель возведены частные коттеджи.

В 2004 году местная еврейская община взяла кладбище под защиты. Была приведена в порядок территория, частично восстановлены памятники. В 2012 году кладбище пострадало от поджога. Выгорело по различным данным около 700 кв. м территории.

Наиболее заметным из сохранившихся сооружений на кладбище является склеп из красного гранита купца первой гильдии Моисея Рабиновича. Также на кладбище сохранились традиционные мацевы и характерные для Восточной Европы надгробные памятники в виде обрубленного ствола дерева.