В связи с тем что материалы по Смоленску и Смоленской области готовились к процессу в Харькове, 22 января 1944 г. В.С. Абакумов подписал очередную объемную записку в ГКО на имя И.В. Сталина, В.М. Молотова и Л.П. Берия о целесообразности проведения нового открытого процесса над военнослужащими германской армии, имевшими непосредственное отношение к осуществлению расстрелов, повешений, удушений, насилия и грабежей мирных жителей и военнопленных на Смоленщине. В числе главных обвиняемых были названы арестованные органами «Смерш» 13 немецких военнослужащих, в отношении которых следствие располагало неопровержимыми данными об их участии в злодеяниях на советской земле.
На заседании Военного трибунала Западного фронта предлагалось рассмотреть дело на переводчика отдела 1 Ц (военная разведка) штаба 29-й мотострелковой дивизии 6-й армии лейтенанта В. Зиллинга, переводчика смоленской военной комендатуры унтер-офицера Роберта Киршфельда, унтер-офицера 336-го охранного батальона Вилли Вайса, помощника лекаря военного лазарета № 551 германской армии Рудольфа Модиша, директора так называемого «Смоленского детского дома №2» Карла Фетцера, старшего солдата пехотного полка 14-й пехотной дивизии Иозефа Райшмана, а также на семерых ефрейторов и солдат охранных батальонов, дислоцировавшихся в Смоленске.
Следствие располагало данными об уничтожении путем убийств, в том числе «душегубками», свыше 135 тыс. мирных жителей, о проведении немцами в военном лазарете медицинских опытов над военнопленными и получения у них, а также у детей донорской крови для солдат вермахта. Кроме того, в упомянутом выше так называемом «детском доме» фашисты нещадно эксплуатировали детей, принуждая их к тяжелой физической работе, а девочек-подростков направляли к офицерам для участия в пьяных оргиях. Одновременно в этом «заведении» отбирали детей в германские разведывательные органы для подготовки их к шпионской и диверсионной работе в тылу Красной Армии.
В процессе расследования злодеяний оккупантов были установлены многочисленные факты ограбления населения города и деревень, разрушения домов, разграбления музеев и других культурно-просветительных учреждений. По делу допросили свыше 50 свидетелей, в том числе немцев. Так, в ходе следствия с разоблачительными показаниями выступил находившийся в плену дивизионный священник майор Фридрих Вильгельм Куммахер, присутствовавший при раскопках захоронения в Бабьем Яру на окраине Киева. Образованный человек, доктор теологии, в прошлом старший консисториальный советник высшего синода в Берлине и заместитель руководителя германской евангелической церкви в Риме, он дал убедительную отповедь гитлеровскому режиму.
«Я не могу сейчас живым словом, — говорил Куммахер, — смягчить сердца германских воинов, направляемых злой волей Гитлера к совершению нечеловеческих, нехристианских преступлений против беззащитных женщин и детей, населяющих оккупированные области России. Поэтому я решил использовать представившуюся мне возможность и во всеуслышание осудить не только нынешних руководи - телей Германии, но и тех, кто сознательно или не сознательно выполняет их волю, совершая тем самым величайшее преступление перед своей совестью и перед Богом... Мне известен ряд приказов Гитлера, которые являлись плодом гитлеровской расовой теории и предписывали жесткие методы на Восточном фронте... Я видел много трупов людей и могилы десятков тысяч жертв гитлеровского «нового порядка», которые я, как представитель германской церкви, проклинаю».
Так же как в Краснодаре и Харькове, в Смоленске судебно-медицинские эксперты установили места массовых убийств и захоронений жертв оккупации. Только в городском районе Верхние Садки и на территории плодоовощного хозяйства Реадовка было обнаружено до 6 тыс. трупов.
Свидетели показали, что в конце октября 1941 г. личный состав 335-го и 490-го охранных батальонов германской армии при конвоировании большой группы советских военнопленных из Вязьмы в Смоленск убили до 10 тыс. советских граждан. В самом городе в ночное время в целях провокации они расконвоировали пленных, но заранее на улицах расставили пулеметы. После первой пулеметной очереди советские военнопленные начали разбегаться, метаться с одной улицы на другую под кинжальным огнем гитлеровских солдат. В эту ночь организаторы провокации перебили не менее 4 тыс. военнопленных.
Несмотря на тщательную подготовку следствия о зверствах, совершенных гитлеровцами в Смоленске и Смоленской области, в высших инстанциях его вновь решили отложить. Дело в том, что 16-23 января 1944 г. в Катынском лесу работала комиссия академика Н.Н. Бурденко. Выводы комиссии должны были убедить западную общественность в том, что все жертвы Катыни — результат только немецких злодеяний, пресечь распространение сведений о том, что в 1940 г. здесь по решению Политбюро ЦК ВКП(б) были расстреляны польские офицеры. Понятно, что огласка Катынского дела представлялась советским «верхам» нежелательной.
К вопросу о проведении открытых судебных процессов вернулись сразу после окончания Великой Отечественной войны. Главным, безусловно, был суд Международного военного трибунала (МВТ) над военными преступниками, но процессы на территории СССР также имели немаловажное значение: они напрямую вписывались в общий контекст судебных преследований нацистов и их пособников. В СССР в плену находилось большое количество военных преступников, включая генералов вермахта и спецслужб Германии, японских милитаристов, бывших белых генералов и атаманов, а также предателей из формирований генерала Власова.
Теперь инициатива и руководство процессами все больше переходили в ведение НКВД СССР. По поручению наркома внутренних дел Л.П. Берия в НКВД, НКГБ и ГУКР «Смерш» рассматривали материалы в отношении арестованных и содержавшихся в лагерях военнопленных — бывших военнослужащих германской армии и карательных органов.
23 августа 1945 г. начальник оперативного управления ГУПВИ А.З. Кобулов направил в адрес Л.П. Берия сведения на немецких военнопленных генералов, совершивших злодеяния и истребления советских людей. Среди них значились: генерал-лейтенант Бернгард Фридрих Густав (командующий тылом 9-й пехотной дивизии 2-й танковой армии), Мозер Гильмар (генерал службы СС и инспектор штаба Гиммлера), Рохерт Иоганн (командир 286-й охранной дивизии), Шмидт Артур (начальник штаба 6-й армии Паулюса), обер-группенфюрер СС Еккельн Фридрих и др. Они участвовали в карательных акциях, совершенных в Белоруссии, Прибал тике и Польше, в лагерях СС, а начальник штаба Шмидт Артур — в истреблении военнопленных во время окружения армии Паулюса. Эти кандидатуры рассматривались для привлечения их к ответственности на процессе Международного трибунала. Списки преступников были опубликованы в прессе, в том числе список № 1 на 125 главных военных преступников в газете «Свободная Германия» — издании лагеря военнопленных № 242.
25 октября 1945 г. руководители силовых ведомств и прокуратуры подготовили записку на имя Л.П. Берия с предложением в течение ноября — декабря провести процессы с широким освещением их хода в прессе. По наиболее важным делам семь открытых процессов намечались в Ленинграде, Смоленске, Великих Луках, Киеве, Николаеве, Минске и Риге, с представлением суду 105 человек. Ознакомившись с предложением, нарком внутренних дел СССР 2 ноября поручил В.Н. Меркулову (НКГБ) совместно с В.С. Абакумовым (ГУКР «Смерш» НКО) и А.З. Кобуловым (НКВД) «рассмотреть и выбрать наиболее важных преступников». Руководители ведомств из 105 человек оставили 85, которые, по их мнению, «достаточно изобличаются в совершенных преступлениях». Было намечено проведение уже восьми процессов, причем потенциальные преступники распределялись по процессам следующим образом: Ленинград — 10 человек, Смоленск — 10, Великие Луки — 9, Киев — 15, Николаев — 10, Минск — 17, Рига — 10 и дополнительно Брянск — 4. На оформление дел для суда было дано два дня, а справки по делам через секретариат НКВД СССР за № 1250/Б 5 ноября были направлены В.М. Молотову.
Одновременно работала комиссия по подготовке и проведению судебных процессов на территории СССР в составе наркома юстиции Н.М. Рычкова, заместителя наркома внутренних дел С.Н. Круглова, начальника ГУКР «Смерш» НКО СССР В.С. Абакумова, главного военного прокурора Вооруженных Сил СССР Н.П. Афанасьева и председателя Верховного суда СССР И.Т. Голякова. Она разрабатывала сценарии крупных показательных процессов над военнопленными вермахта в указанных городах. Была создана специальная группа из 39 оперативных работников НКВД, НКГБ и ГУКР «Смерш» НКО СССР, которая направлялась в местные органы для оказания практической помощи и организации подготовки и проведения следствия, а также судебных процессов над нацистскими преступниками.
В ГУКР «Смерш» НКО СССР за подготовку материалов для открытых процессов отвечал начальник 2-го отдела полковник С.Н. Карташов. Процессуальные документы оформляли оперативники и сотрудники следственного отдела «Смерш» во главе с генерал-лейтенантом А.Г. Леоновым.
На восьми открытых процессах, проведенных в СССР в декабре 1945 — январе 1946 гг., были осуждены 85 немецко-фашистских преступников, в том числе 18 генералов, 28 офицеров и 39 унтер-офицеров. Из них 66 были приговорены к казни через повешение, 19 — к каторжным работам на срок от 12 до 20 лет. Приведение смертных приговоров в исполнение осуществлялось на площадях городов, в присутствии большого числа людей. Во время заседания МВТ в Нюрнберге советскими представителям были направлены судебные приговоры по этим процессам, как указывалось, «для пополнения предъявляемых трибуналу документов».