С начала XVIII века в Харькове проводилась Крещенская ярмарка. С ней связано появление первых евреев-купцов в городе. Уже к 1780-м здесь была небольшая еврейская община во главе с раввином. К концу XVIII века основано еврейское кладбище.

В начале XIX века начались преследования евреев Харькова, которые проявлялись в принуждении к крещению и вытеснению из экономической жизни. Так, в 1804 году еврейским купцам на ярмарке были разрешены только оптовые операции. Спустя год купцы-христиане добились полного изгнания евреев.

Харьков не был включен в черту оседлости, и к 1820-м евреям было запрещено даже временное нахождение в городе. С введением воинской повинности для евреев, в городе появились евреи-солдаты.

К 1830-м местное руководство осознало, что без еврейских купцов уменьшилась прибыль от ярмарки и начали снимать ограничения. В 1835 году купцам-евреям было разрешено находиться в Харькове и торговать оптом товарами отечественного производства.

Уже к середине XIX века в городе действовали солдатская и купеческая синагога. С основанием Харьковского университета в городе постоянно проживала еще одна группа еврейского населения — студенты.

Также в городе постоянно проживали около 500 караимов, на которых не распространялись ограничения, вводимые властями для евреев.

В 1860-х начала действовать Курско-Харьковско-Азовская железная дорога, которая способствовала росту популярности ярмарки. На нее съезжались до 20 тыс. евреев-купцов.

К концу 1870-х еврейское население Харькова составило 5,1 тыс. человек.

Несмотря на введение процентной нормы для поступления в вузы и высылки евреев из города, к концу XIX столетия в Харькове жили 9,8 тыс. евреев, составлявших 8% горожан. В первые годы ХХ века 90% купцов первой и 25% купцов второй гильдий города были евреями.

В 1913 году в Харькове была построена Хоральная синагога — крупнейшая на тот момент на территории Украины и вторая в Европе, после будапештской.

В годы революции евреи занимали ведущие посты в органах городского управления. Яков Рубинштейн возглавлял городскую думу. Харьков был единственным городом в Украине, где не проходило еврейских погромов.

В 1941 году Харьков оккупировали нацисты. В годы Холокоста погибли до 15 тыс. харьковских евреев. В 1979 году в Харькове проживали 90 тыс. евреев. Спустя 10 лет — 49 тысяч.

В 1990 году власти вернули общине Хоральную синагогу. К концу 1990-х в Харькове насчитывалось 40 тыс. евреев.