Накануне войны евреи составляли 39,8% населения Могилева-Подольского. С началом боевых действий часть еврейского населения попыталась покинуть город. Но одноколейная ветка, ведущая к узловой Жмеринке, оказалась перегруженной отступающими войсками. На станции Могилев-Подольский не было ни одного вагона. Советские войска при отступлении взорвали 115 км железнодорожного полотна.

Дороги от Могилева также были заполнены отступающими. В результате, часть могилевских евреев вернулась в город, часть была застигнута немецкими и румынскими войсками в близлежащих населенных пунктах.

Город был оккупирован 19 июля 1941 года. В первый же день захватчики уничтожили более 60 евреев. Могилев-Подольский оказался в румынской зоне оккупации. В городе был создан юденрат, а евреев румынские власти обязали носить отличительные знаки.

В середине августа 1941 года румынские власти создали гетто на территории улиц Греческой, Пушкинской, Советской, Стависской и площади Базарной. В конце лета Днестр вышел из берегов, затопил часть территории гетто.

Помимо местных евреев, в гетто оказались 15 тыс. евреев, депортированных из Румынии, Буковины и Бессарабии. Они прибыли только с вещами, которые им позволили взять при выселении, не знали украинского языка и не могли найти общий язык с местным населением. Всего за сентябрь 1941 — февраль 1942 года через Могилев-Подольский, служивший транзитным лагерем, румынские военные прогнали более 50 тыс. евреев.

Зимой 1941 года узники пережили голод и эпидемию тифа. Юденрат в здании бывшей поликлиники на улице Больничной создал госпиталь. По данным румынских властей от тифа умерли 1,2 тыс. узников гетто. Первоначально погибших от болезни хоронили на еврейском кладбище, а затем закапывали в рвах и оврагах в районе улицы Пушкинской.

С осени 1942 года узников гетто румынские власти начали депортировать в расположенный за 100 км от Могилева-Подольского концентрационный лагерь в Печере Винницкой области. Часть из них погибала в дороге.

С 1942 года узники гетто стали получать помощь от еврейской общины Румынии. В декабре 1943 года около 3 тыс. евреев из могилев-подольского гетто получили разрешение вернуться в Румынию. В марте 1944 года община Бухареста добилась разрешения вывести из Могилева-Подольского 1,4 тыс. сирот. 19 марта 1944 года город взяли советские войска.