В тесном взаимодействии с аппаратами уполномоченных армейские подразделения «Смерш» вместе с наступающими советскими войсками, шаг за шагом, продвигались на Берлин. Главный удар по немецкой обороне предстояло нанести войскам 1-го Белорусского и 1-го Украинского фронтов, а это означало, что военные контрразведчики подразделений «Смерш» этих фронтов окажутся первыми в столице рейха и начнут окончательный разгром разведывательных органов противника.
В Берлине чекисты рассчитывали арестовать главарей фашистской Германии, генералов вермахта, крупных чиновников министерств, высоких чинов спецслужб и других карательных органов. Очень важно было захватить архивы и картотеки с данными о личном составе и агентуре противника, архивы ведомств, институтов и военных предприятий с их документацией военного, политического и экономического характера.
Берлинская операция началась 16 апреля. План осуществления оперативно-чекистских мероприятий в немецкой столице, предусматривавший также обеспечение общественного порядка в городе, был согласован с Г.К. Жуковым 24 апреля, т.е. в тот день, когда советские войска взяли Берлин в кольцо. От штаба фронта в 20 районах Берлина были назначены военные коменданты, а в качестве их опоры для работы с населением определены кандидатуры бургомистров из военнопленных берлинцев, содержавшихся в лагерях.
В каждый район направлялись оперативные группы, состоявшие из 10-15 оперативных работников аппарата уполномоченного фронта во главе с начальником, квалифицированным чекистом, уровнем не ниже заместителя начальника отдела контрразведки «Смерш» армии или корпуса. Кандидатов на эту должность отбирали в подразделениях военной контрразведки фронта, дислоцировавшихся около Берлина. Оперативные группы имели заранее подготовленные розыскные списки, а также опознавателей из числа местных жителей.
Вокруг германской столицы силами войск НКВД по охране тыла фронта были расставлены контрольно-пропускные посты в количестве 4200 человек и одна пограничная застава для конвоирования арестованных.
Во время штурма Берлина военные контрразведчики в составе оперативных групп подразделений контрразведки 1-го Белорусского и других фронтов непосредственно участвовали в боях за овладение административными зданиями и правительственными учреждениями.
Известен эпизод, когда в ходе Берлинского сражения военные контрразведчики 47-й гвардейской стрелковой дивизии 8-й гвардейской армии 1-го Белорусского фронта осуществили операцию по захвату одного из центральных учреждений Абвера в Берлине. По данным разведки, оно находилось в полосе наступления 47-й дивизии в районе Целендорфа, на окраине немецкой столицы, замаскированное под сельскохозяйственный институт. Это учреждение всю войну олицетворяло главного противника военных контрразведчиков.
Накануне операции руководители «Смерш» 8-й гвардейской армии поставили задачу организовать арест личного состава Абвера, агентуры и по возможности, захватить абверовские документы. Чтобы исключить эвакуацию вражеского центра, чекисты договорились лично с командующим 8-й гвардейской армией генерал-лейтенантом В.И. Чуйковым о поддержке операции войсками. Десантная оперативная группа во главе с начальником ОКР «Смерш» 47-й гвардейской дивизии А.И. Матвеевым на плечах приданной ей танковой роты и мотострелкового батальона ночью преодолела линию обороны и, не ввязываясь в боевые действия, с ходу захватила намеченный объект. Операция оказалась своевременной, так как во дворе центра уже стояли готовые к эвакуации грузов