18 ноября 1943 г. Абакумов направил в ГКО Сталину и Молотову докладную записку о подготовке открытого судебного процесса над немецкими военными преступниками и их пособниками, причастными к истреблению советских людей в Смоленске и Харькове. Ход процесса предлагалось широко осветить в печати. Абакумов указывал, что «Смерш» располагает новыми данными о наличии у немцев специальных автомашин — «душегубок», которые используются для умерщвления советских граждан. Эти факты, отмечал начальник ГУКР «Смерш», имели место не только в Краснодаре, но и в Харькове, Смоленске и других городах, причем в двух последних гитлеровцами истреблено свыше 160 тыс. граждан. В ГУКР «Смерш», писал он, находятся военнопленные немцы, служившие в спецорганах и лично участвовавшие в зверствах на оккупированной территории. Кроме того, задержаны и изобличены советские граждане из числа немецких пособников, причастные к такого рода преступлениям. В докладной записке отмечалось, что «Смерш» известны 89 свидетелей — жителей Харькова и Смоленска, среди которых профессор Катков, врачи и медицинские сестры.
При подготовке данного процесса активнее стали использовать материалы Чрезвычайно государственной комиссии. При ней существовала следственная группа, в которую наряду с другими представителями спецслужб входили и сотрудники «Смерш». Материалы ЧГК, военной контрразведки, НКГБ и НКВД использовались ими в интересах следствия и при проведении оперативно-розыскных мероприятий.
Злодеяния оккупантов нашли предварительное подтверждение в актах комиссии. В изучении и отборе документов по Смоленску участвовали: академик Н.Н. Бурденко, главный судмедэксперт наркомата здравоохранения В.И. Прозоровский, профессор кафедры 2-го Медицинского института доктор медицинских наук В.М. Смолянинов, старшие научные сотрудники судебно-химического и анатомического отделений Государственного НИИ судебной медицины доцент М.Д. Швейкова и доктор П.С. Семеновский. Над актом судмедэкспертизы по Харькову работали главный судмедэксперт 2-го Украинского фронта, генерал-майор медицинской службы Притворов, судмедэксперт 69-й армии майор медицинской службы Городниченко, военные врачи Третьякова, Маклецов и Шевцов.
Как докладывал В.С. Абакумов, к этому времени следствие установило, что истребление советских людей проводилось по приказу немецкого командования, а именно: командиров дивизий СС «Адольф Гитлер» (обергруппенфюрер Дитрих) и «Мертвая голова» (группенфюрер Симон), начальника смоленского гарнизона генерал-майора Крепса, военного коменданта Смоленска фон Швеца, начальника тайной полевой полиции в Харькове Кархана, начальника особой группы гестапо Геленбруха, начальника зондеркоманды гестапо Вилли Неймана, начальника харьковской зондеркоманды СС штурмбанфюрера Ханнебитерома, шефа гестапо Смоленска обер-лейтенанта Гофмана, руководителя полиции обер-лейтенанта Шита.
Дело предлагалось рассмотреть в Военном трибунале 4-го Украинского фронта под председательством генерал-майора юстиции А.Н. Мясникова, в открытом заседании и с участием сторон, а обвинение поручить поддержать военному прокурору Харьковского военного округа полковнику юстиции Н.К. Дунаеву. Мера наказания должна была быть определена в соответствии с Указом от 19 апреля 1943 г., а обвинительное заключение и приговор предлагалось опубликовать в центральной и местной прессе.
К письму В.С. Абакумова в ГКО был приложен проект Постановления ЦК ВКП(б) о проведении судебного процесса в Харькове 10-12 декабря. Судя по этому документу, общее руководство судебным процессом возлагалось на секретаря ЦК ВКП(б) начальника Главного политуправления Красной Армии, начальника Совинформбюро А.С. Щербакова, прокурора СССР К.П. Горшенина и В.С. Абакумова.
3 декабря 1943 г. следственный отдел ГУКР «Смерш» НКО СССР подготовил обвинительное заключение по делу о зверствах немецко-фашистских захватчиков в городах Харькове и Смоленске на четверых немецких военнослужащих и двоих советских граждан, содержавшихся в Лубянской тюрьме в Москве. В преамбуле этого документа отмечалось, что «по мере изгнания немецко-фашистских захватчиков с временно оккупированной территории вскрываются все большие и большие злодеяния, творимые частями германской армии». Так, после освобождения Харьковской и Смоленской областей выявлены многочисленные факты чудовищного истребления мирных советских граждан, в том числе женщин, стариков и детей, а также использования при этом специально оборудованных газовых машин. В заключении указывалось на ответственность за бесчинства и злодеяния германского правительства и его верховного командования. В качестве примеров поощрения геноцида населения на оккупированных территориях СССР были приведены высказывания Гитлера, Геринга и имперского комиссара Украины Коха о планах порабощения Европы и уничтожении всех, кто сопротивлялся захватчикам, о практике чтения лекций сотрудниками ГФП (тайной полевой полиции) в немецких военных школах и училищах о необходимости истребления людей. В документе была приведена цитата из выступления Коха на конференции окружных комиссаров о том, какими методами можно сломить сопротивление граждан угону в фашистскую неволю: «Отбирать работоспособных, а остальных уничтожать».
При подготовке обвинительного заключения следственный отдел ГУКР «Смерш» НКО СССР использовал акты судебно-медицинских экспертиз, свидетельские показания об умерщвлении людей «душегубками» в Краснодаре и в бараках Харьковского тракторного завода, об издевательствах над военнопленными и уничтожении больных и раненых военнослужащих Красной Армии.
Между 6 и 18 декабря В.С. Абакумов согласовывал с руководством страны все детали подготовки открытого процесса. В ходе обсуждения в высших инстанциях было принято решение провести его в Харькове, но только по эпизодам, связанным со злодеяниями в данном регионе. Смоленский процесс был отложен.
Согласование основных обвинительных документов шло и в ходе судебного заседания, прошедшего 15-18 декабря 1943 г. Такое внимание к данному процессу было обусловлено тем, что впервые по советскому закону к суду были привлечены офицеры вермахта и немецкой полиции.
Последняя поправка в проект приговора была внесена 18 декабря. В.С. Абакумов в письме к И.В. Сталину и В.М. Молотову сообщал, что в соответствии с их указаниями прокурором СССР К.П. Горшениным, заместителем наркома юстиции РСФСР Перловым и лично им «проект в некоторой части был переработан», а новый текст проекта приговора согласован с А.С. Щербаковым. Как видно из документов, в новом варианте был уточнен один абзац о применении «душегубок»: вместо термина «газовые машины», так называемые «душегубки», было написано: «так называемые газвагены, большие закрытые автомашины, которые известны у русских «душегубками»». Если в первом варианте просто констатировалось, что с целью замести следы фашисты «сжигали трупы», то в новом варианте это преступное деяние описывалось более подробно, в частности указывалось на журналисты применение при умерщвлении людей специального газа — окиси углерода.
По окончании судебного заседания Военный трибунал 4-го Украинского фронта под председательством генерал-майора юстиции А.Н. Мясникова с участием государственного обвинителя — военного прокурора полковника юстиции Н.К. Дунаева, адвокатов Н.В. Коммодова, С.К. Казначеева и Н.П. Белова, на основании Указа от 19 апреля 1943 г. военнопленным гитлеровцам вынес суровый приговор. Капитана Абвера Вильгельма Лангхельда, заместителя командира роты СС при харьковской зондеркоманде СД унтерштурмфюрера СС Ганса Рица, следователя ГФП в Харькове старшего ефрейтора Рейнгарда Рецлава, а также советского гражданина М.П. Буланова, добровольно поступившего на службу шофером в харьковское отделение гестапо, — за активное участие в расстрелах, пытках и за умерщвление в «душегубках» советских людей приговорили к смертной казни через повешение. Акция возмездия была организована на базарной площади Харькова в присутствии 40 тыс. местных жителей. Ход процесса освещал член ЧГК писатель А.Н. Толстой, советские и иностранные корреспонденты. 19 декабря по представлению В.С. Абакумова Верховный немедленно утвердил проект сообщения о приведении в исполнение приговора трибунала по делу о зверствах немецко-фашистских захватчиков в городе Харькове и Харьковской области.