Статус города был присвоен Сумам только лишь в 1780 году, после ликвидации действовавшего на то время в Российской империи полкового устройства Слобожанщины. Сумы не были штетлом, поскольку город находился за пределами черты оседлости, и поэтому еврейская жизнь здесь была не особо активной. По законам Российской империи на таких территориях разрешалось селиться только евреям определенного сословия, например, имеющим высшее образование, купцам, входящим в Первую гильдию, ремесленникам, которые были приписаны к ремесленным цехам (портные, часовщики, обувщики).

Тем не менее, в этом уездном городке Харьковской губернии со временем образовалась хоть и небольшая, но достаточно активная и богатая еврейская община. Право посещать ярмарку местные купцы из евреев получили в 1835-м, но продавать на ней товары иностранного производства — только в 1858-м. По данным на 1865 год в Сумах насчитывалось всего 56 евреев, но в 1897-м еврейская община насчитывала уже 760 человек, что составляло примерно 2,8% городского населения. По переписи 1910 года в Сумах проживало 1012 евреев. Следует отметить, что еврейская община города состояла, в основном, из достаточно обеспеченных людей. С развитием в Российской империи капитализма, в начале 1900-х в Сумы стали приезжать врачи, аптекари, финансисты и лица других специальностей, основывая там небольшую коммерцию или сектор услуг.
По состоянию на 1910 год в городе были построены и действовали три синагоги, Еврейское общество помощи неимущим, мицва «Бикур Холим», еврейское кладбище. Перед Первой мировой войной обе аптеки, молочная ферма и более чем сорок магазинов и лавок принадлежали евреям. Также была построена еще одна синагога.
В смутный период революции и последовавшей за ней гражданской войны еврейская община города неоднократно подвергалась грабежам, а несколько ее членов были убиты.
За период с 1920-го по 1939-й численность евреев в Сумах постепенно уменьшилась. Так, если в 1920 году в городе насчитывалось 3253 еврея, то по состоянию на 1939 год — только 1851.
После нападения Германии на СССР в 1941 году, часть евреев покинула город, эвакуировавшись на восток страны, а часть из них была мобилизована в Красную Армию. Город был захвачен передовыми частями вермахта в начале октября 1941-го. За данными архивов, в период оккупации города немцами были убиты около 3000 евреев.
После войны еврейская община в Сумах была частично восстановлена. Настоящее возрождение еврейской жизни и культуры в городе началось в 1990 годах. Сегодня деятельность местной общины сосредоточена вокруг синагоги, возвращенной ей в 2005 году. На ее базе действует клуб для еврейской молодежи, фонд «Хабад Сумы», проводятся мероприятия, связанные с еврейскими праздниками, концерты.