Согласно данным переписи населения 1939 года в городе проживало более 37 тыс. евреев, которые составляли пятую часть горожан. По приблизительным подсчетам жертвами Холокоста на территории Витебска за три года оккупации стали более 20 тыс. евреев. Уже в 1959 году перепись показала, что еврейское население города сократилось на треть до 10,3 тыс. человек.

Точный подсчет жертв оккупации затрудняет отсутствие сведений о количестве евреев, призванных в Красную армию, успевших эвакуироваться из города и прибывших в город до оккупации из других регионов Беларуси и окрестных деревень. Кроме того, в сентябре 1943 года нацисты уничтожали останки жертв в местах массовых казней.

Немецкие войска заняли город 11 июля 1941 года. В первые дни оккупанты расстреливали и вешали евреев на еврейском Старо-Улановичском кладбище и в городском саду имени Ленина. С 17 июля 1941 года началась обязательная регистрация евреев. Учету подлежали также потомки от смешанных браков и те, у кого были родственники евреи в третьем поколении. Документы регистрации не сохранились, но по данным историков в списки попали 16 тыс. человек.

Приказ о создании гетто на правом берегу Двины появился 25 июля 1941 года. Евреям, переправлявшимся с левого берега, оккупанты запретили пользоваться понтонным мостом и приказали использовать подручные средства. Во время переправы солдаты и полицаи устроили погром, в ходе которого погибло по различным данным 2—3 тыс. человек.

Под гетто нацисты выделили район с нежилыми помещениями, ограниченный улицами Энгельса, Комсомольской, Ильинского, Кирова и Набережной. По приблизительным подсчетам в нем находилось до 13 тыс. евреев. Гетто было закрытого типа, его жителей не снабжали продовольствием, а в первые дни узникам приходилось использовать речную воду из-за отсутствия водопровода.

Первые месяцы евреи выживали за счет обмена вещей на продукты у местного населения. В сентябре власти издали указ, запрещавший горожанам появляться возле гетто. По подсчетам историков ежедневно погибали от 30 до 70 узников, и к октябрю 1941 года смерть унесла жизни 5 тыс. человек.

В августе в Витебск прибыла айнзатцгруппа 9, которая провела облавы в окрестных деревнях, карательные акции в городе и начала массовое уничтожение евреев в районе деревни Себяхи.

Ликвидацию гетто нацисты проводили с конца октября по начало ноября 1941 года. В Витебске и окрестностях было шесть мест массовых расстрелов. В 1993 году в районе, где располагалось гетто, а в 1995 и 2000 годах на окраинах, где проходили расстрелы, были установлены памятные знаки.

Существует городская легенда о том, что узники гетто нашли подземный ход, который вел на правый берег Двины и далее на Полоцк, и части из них удалось спастись. Фактами легенда не подтверждена, но известны случаи спасения евреев подпольщиками и местными жителями, двое из которых получили звание «Праведник народов мира».