Когда-то на выделенной для евреев секции Центрального городского кладбища в Сумах за отдельной оградой хоронили только иудеев. Но со временем все поменялось не в лучшую сторону, и теперь рядом с мацевами со звездой Давида можно увидеть надгробия не только с христианской, но и коммунистической символикой.

Сегодня нет точных сведений, когда было основано сумское еврейское кладбище. Впервые, как отдельный объект, оно было обозначено на кадастровых картах города конца XIX века, выпущенных еще во времена Российской империи. Согласно датам, сохранившимся на многих старых надгробиях, захоронения были сделаны примерно 120-130 лет тому назад. Предполагается, что где-то в этот период и было организовано кладбище для евреев немногочисленной тогда Сумской общины. Исторические данные свидетельствуют о том, что в то время евреев в городе было немного, поскольку он находился за пределами официально обозначенной черты оседлости евреев.
Сегодня длина периметра еврейской части кладбища составляет примерно 400 метров. Его территория достаточно большая и, в основном, хорошо ухоженная, с покошенной травой, срезанным кустарником и старыми деревьями.
Из примерно 1500 надгробий, которые имеются на Центральном городском кладбище в Сумах, более 700 являются еврейскими. Многие, особенно наиболее старые мацевы, почти утратили надписи и знаки, по которым можно было распознать, кто под ними похоронен. Некоторая часть из старых надгробий разрушилась под воздействием атмосферных явлений и природы. На более ранних, особенно послевоенных надгробиях, которые сделаны по советским традициям, надписи сохранились хорошо, многие из них продублированы на русском, но немало и тех, которые содержат только русские надписи.
Тысячи местных евреев были замучены и расстреляны в период оккупации города немецкими войсками во время Второй мировой войны. Причем, наиболее массовый расстрел евреев произошел, по трагическому стечению, в овражистой местности как раз недалеко от этого кладбища. В память об этой трагедии на еврейском кладбище в Сумах установлен памятник.
По словам представителей местной еврейской общины, появление на иудейском участке новых могил неевреев рядом с еврейскими мацевами (а иногда и на их месте) нарушает еврейские каноны относительно священности этого места. Однако пока что повлиять на это еврейской общине Сум не удается, также остаются без внимания просьбы о выделении нового участка. Поэтому ее усилия направлены на присмотр и уборку старого участка и расположенных на нем еврейских могил.