Накануне войны евреи составляли более 70% населения Шаргорода. С началом военных действий часть мужского населения города была призвана в Красную армию. В связи с быстрым наступлением немецких войск эвакуация не проводилась. К моменту захвата города в июле 1941 года здесь оставалось 1,8 тыс. евреев. Город попал в румынскую зону оккупации, известную как Транснистрия.

Румынские власти использовали захваченные украинские земли для переселения евреев из румынских земель. Поэтому в ноябре 1941 года в город прибыли еще около 5 тыс. евреев из Буковины и Бессарабии.

В районе улиц Ленина и Маркса румынские власти создали гетто, куда переселили евреев. Под поселение выделили более 330 частных домов, в которых было более 840 комнат. Также евреев размещали в общественных зданиях в пределах выделенного района.

Дома, в которых проживали евреи, должны были иметь специальные металлические щиты с шестиконечными звездами. Гетто было открытым. На улицах евреев обязали носить отличительные знаки на одежде. По количеству узников шаргородское гетто было третьим в Транснистрии и самым организованным.

В Шаргороде местные и прибывшие румынские евреи создали совет общины из 25 человек, еврейскую милицию из двух местных и 15 румынских евреев, которую возглавлял опытный офицер. В Шаргороде действовали пекарня, столовая, продуктовый магазин, больница, аптеки и санитарно-эпидемиологическая станция. Действовали собственный суд, казна, а также система распределения продуктов и товаров первой необходимости.

Благодаря тому, что румынские евреи привезли с собой деньги и ценности, руководители совета договаривались с властями, давая взятки. В результате была налажена система оповещения об облавах и механизм помощи тем, кто отправлялся на принудительные работы.

Из-за высокой плотности населения, нехватки воды и отсутствия гигиены зимой 1941—1942 годов гетто охватила эпидемия тифа. Из 27 врачей, работавших в гетто, погибли 12. Для борьбы с эпидемией совет общины смог организовать очистку колодцев, медицинскую помощь, производство мыла и ремонт бани. В результате эпидемии погибли 1,4 тыс. человек, но большинству еврейского населения удалось выжить. К весне 1942 года эпидемия пошла на спад.

Благодаря организованной работе общины и взаимодействию с румынскими властями последние не проводили акции уничтожения, и большинству узников шаргородского гетто удалось выжить.