Первое упоминание о евреях города Звягель (с 1795 года переименован в Новоград-Волынский) датируется 1488 годом. С 1620 года начинаются официальные переписи населения и в документы из года в год вносятся данные о проживающих в городе еврейских семьях. В 1798 году еврейская община составляла 55% всех жителей Звягеля. Именно эти данные дают основание полагать, что уже с середины XVIII века в Новоград-Волынском начало существование старое еврейское кладбище.

На плане старого города отчетливо видно, как в его северо-восточной части в проулке, который отходит от улицы Гутинской к речке Случь (сейчас это улица Коцюбинского) есть место, обозначенное, как кладбище евреев. Захоронения на этом могильнике происходили где-то до 50-х годов XIX столетия.

Благодаря рассказам местных жителей удалось установить, что старое еврейское кладбище находилось на рубеже нынешних земельных участков дома No14 и дома No24, которые находятся по улице Коцюбинского. Длина могильника составляла приблизительно 80 метров, а ширина – 50 метров.

Единственная память о старом еврейском кладбище, которая сохранилась до нашего времени, находится в саду дома No22 по улице Коцюбинского. Это небольшая надгробная плита, которая плотно вросла в землю и покрылась небольшим мхом. Возраст плиты точно определить невозможно, так как на ней отсутствуют какие-либо надписи – они были стерты под влиянием времени.

Из достоверных источников известно, что именно на этом кладбище был похоронен первый цадик Звягеля р. Мойше Голдман. По некоторым данным он скончался 23 апреля 1831 года, по иным – в конце 1830 года. Коренной житель Звягеля Мордехай Бонэ еще с детства вспоминает, как посещал могилу р. Мойше. Он точно помнит, что на надгробии, которое находилось внутри склепа, была нанесена дата, соответствующая стиху из Торы: «И умер Моше, раб Господень». [8, с. 70]. Вход на кладбище проходил через металлические ворота с парой больших львов, за которыми и располагалась та самая усыпальница из багрового кирпича. Внутри нее лежала плита, над которой часто проходили молитвы набожных евреев.

С 1930 по 1950 года территория, на которой находились старые захоронения, была роздана нескольким коренным семьям этого городка. В результате на ней построили дома, расположили сада и огороды. Таким образом, старинное кладбище сравнялось с землей, и лишь его небольшая часть была перенесена на новое, основанное около 1850 года, кладбище.