В тесном взаимодействии с аппаратами уполномоченных армейские подразделения «Смерш» вместе с наступающими советскими войсками, шаг за шагом, продвигались на Берлин. Главный удар по немецкой обороне предстояло нанести войскам 1-го Белорусского и 1-го Украинского фронтов, а это означало, что военные контрразведчики подразделений «Смерш» этих фронтов окажутся первыми в столице рейха и начнут окончательный разгром разведывательных органов противника.
В Берлине чекисты рассчитывали арестовать главарей фашистской Германии, генералов вермахта, крупных чиновников министерств, высоких чинов спецслужб и других карательных органов. Очень важно было захватить архивы и картотеки с данными о личном составе и агентуре противника, архивы ведомств, институтов и военных предприятий с их документацией военного, политического и экономического характера.
Берлинская операция началась 16 апреля. План осуществления оперативно-чекистских мероприятий в немецкой столице, предусматривавший также обеспечение общественного порядка в городе, был согласован с Г.К. Жуковым 24 апреля, т.е. в тот день, когда советские войска взяли Берлин в кольцо. От штаба фронта в 20 районах Берлина были назначены военные коменданты, а в качестве их опоры для работы с населением определены кандидатуры бургомистров из военнопленных берлинцев, содержавшихся в лагерях.
В каждый район направлялись оперативные группы, состоявшие из 10-15 оперативных работников аппарата уполномоченного фронта во главе с начальником, квалифицированным чекистом, уровнем не ниже заместителя начальника отдела контрразведки «Смерш» армии или корпуса. Кандидатов на эту должность отбирали в подразделениях военной контрразведки фронта, дислоцировавшихся около Берлина. Оперативные группы имели заранее подготовленные розыскные списки, а также опознавателей из числа местных жителей.
Вокруг германской столицы силами войск НКВД по охране тыла фронта были расставлены контрольно-пропускные посты в количестве 4200 человек и одна пограничная застава для конвоирования арестованных.
Во время штурма Берлина военные контрразведчики в составе оперативных групп подразделений контрразведки 1-го Белорусского и других фронтов непосредственно участвовали в боях за овладение административными зданиями и правительственными учреждениями.
Известен эпизод, когда в ходе Берлинского сражения военные контрразведчики 47-й гвардейской стрелковой дивизии 8-й гвардейской армии 1-го Белорусского фронта осуществили операцию по захвату одного из центральных учреждений Абвера в Берлине. По данным разведки, оно находилось в полосе наступления 47-й дивизии в районе Целендорфа, на окраине немецкой столицы, замаскированное под сельскохозяйственный институт. Это учреждение всю войну олицетворяло главного противника военных контрразведчиков.
Накануне операции руководители «Смерш» 8-й гвардейской армии поставили задачу организовать арест личного состава Абвера, агентуры и по возможности, захватить абверовские документы. Чтобы исключить эвакуацию вражеского центра, чекисты договорились лично с командующим 8-й гвардейской армией генерал-лейтенантом В.И. Чуйковым о поддержке операции войсками. Десантная оперативная группа во главе с начальником ОКР «Смерш» 47-й гвардейской дивизии А.И. Матвеевым на плечах приданной ей танковой роты и мотострелкового батальона ночью преодолела линию обороны и, не ввязываясь в боевые действия, с ходу захватила намеченный объект. Операция оказалась своевременной, так как во дворе центра уже стояли готовые к эвакуации грузовые машины. С рассветом чекистам вместе с бойцами и командирами пришлось в течение суток держать круговую оборону до деблокировки десанта, охранять пленных и документы Абвера. Начальник опергруппы А.И. Матвеев по этому поводу вспоминал: «Документы и показания пленных оказались весьма ценными. Они, в частности, неопровержимо доказывали, что фашистские разведывательные органы действительно концентрируют свои силы на юге Германии. Об этом свидетельствовало то, что захваченный нами абверовский центр разведки должен был эвакуироваться на юго-запад Германии, в район Баварии, — города Штутгарт и Тюбинген, прихватив с собой наиболее ценные кадры (по русским делам) и оперативную документацию».
Военные контрразведчики оказались в числе первых, кто вел уличные бои в городе, а также среди штурмующих рейхстаг и имперскую канцелярию. Все оперативные группы имели задания по розыску нацистских главарей и их приближенных, оставшихся в Берлине, и немедленно обменивались любыми сведениями об этом, полученными от пленных немцев.
Первые сведения о том, что Гитлер оставался в бункере до 28 апреля, поступили к смершевцам в ходе боев за рейхстаг. Последнее убежище фюрера было занято советскими войсками 2 мая, и в тот же день вечером военные контрразведчики обнаружили в нескольких метрах от входных дверей в бомбоубежище и в самом бомбоубежище трупы семьи Геббельса.
3 мая в 4 часа 45 минут начальник УКР «Смерш» 1-го Белорусского фронта A. А. Вадис, как заместитель уполномоченного НКВД СССР, по ВЧ-связи доложил Л.П. Берия о результатах розыска опергруппами деятелей нацистской партии и крупных чиновников ведомств фашистской Германии в Берлине. В числе захваченных оказались начальник отдела радиовещания министерства пропаганды Ганс Фриче, консультант Геббельса по агитации и пропаганде Вольф Хайнрихсдорф, начальник госпиталя рейхсканцелярии, личный врач Гитлера профессор Вернер Хаазе, президент союза германских моряков в Берлине Э. Гинцман. Последний утверждал, что Гитлер и Геббельс покончили жизнь самоубийством, и трупы их сожжены, причем труп фюрера, по его данным, мог находиться «в котловане убежища».
Кроме того, в докладе начальника военной контрразведки фронта сообщалось о прибытии к командующему 8-й гвардейской армией B. И. Чуйкову коменданта Берлина генерала Гельмута Вейдлинга, который подписал приказ о сдаче всего личного состава берлинского гарнизона. По данным А.А. Вадиса на 18 часов 2 мая, из числа оборонявших город в плен сдалось 46 тыс. немецких офицеров и солдат, среди которых были три генерала и вице-адмирал Ганс-Эрих Фосс. Из документов следовало, что оперативные группы «Смерш» фронта проводят мероприятия не только вокруг имперской рейхсканцелярии, но и в зданиях гестапо, министерств авиации и пропаганды, в доме Геббельса и других местах в целях задержания интересующих контрразведку лиц, тщательного осмотра и изъятия имеющихся документов.
3 мая 1945 г. в 21 час 30 минут командующий войсками 1-го Белорусского фронта маршал Г. К. Жуков и член Военного совета фронта генерал-лейтенант К.Ф. Телегин доложили И.В. Сталину о результатах розыскных мероприятий опергруппы «Смерш» в Берлине.
Только 5 мая солдаты взвода ОКР «Смерш» 79-го стрелкового корпуса в одной из воронок от бомбы во дворе рейхсканцелярии обнаружили трупы Гитлера и его жены Евы Браун. Останки наци № 1, министра пропаганды и членов их семей, а также начальника генерального штаба сухопутных сил Германии генерал-лейтенанта Кребса в дальнейшем находились под контролем контрразведчиков указанного стрелкового корпуса. Помимо охраны важнейших доказательств смерти главарей рейха, сотрудники «Смерш» продолжали поиски новых свидетелей и необходимых документов для опознания и идентификации останков. По указанию К.Ф. Телегина, для осуществления экспертиз в распоряжение чекистов была выделена группа военных медиков, которая провела необходимую работу по идентификации останков Гитлера и других нацистских главарей, оформив результаты соответствующими актами. В настоящее время все документы, связанные с этими событиями, в которых активно участвовали представители «Смерш», опубликованы в открытых изданиях.
В то время как завершались упорные бои за Берлин, уполномоченные НКВД СССР по фронтам с помощью оперативных групп фронтовых органов «Смерш» и приданных им частей войск НКВД начали активную работу по очистке тыла на территории Германии, Польши, Венгрии, Югославии, Румынии и других стран, куда вошли части Красной Армии. Об этой деятельности записками и сообщениями по ВЧ-связи они докладывали в Москву, а Л.П. Берия и В.С. Абакумов — руководству страны. В первую очередь чистке подвергались наиболее видные деятели режимов оккупированных стран, агенты и диверсанты противника, представители белоэмигрантских организаций и групп, активно выступавших против СССР, а также участники действовавшего на этих территориях вооруженного подполья и бандитских формирований. Военным контрразведчикам удавалось выявлять агентуру противника и изменников, проникших в советские войска и в армейское окружение.
В мае — июне 1945 г. берлинская опергруппа обнаружила часть архивов РСХА, в частности, разработки гестапо по аппарату германского МИДа и его сотрудникам за границей, материалы бывшего 6-го управления (внешняя разведка) с информацией по вопросам внешней политики фашистской Германии и сведениями о заграничной агентуре. В помещении командного состава войск СС в столице были захвачены списки агентуры, заброшенной в тыловые районы СССР в 1942-1943 гг.