Смерть И.В. Сталина весной 1953 г. положила начало новому этапу реформирования органов государственной безопасности. Уже 5 марта 1953 г. совместным Постановлением Совета Министров и Президиума Верховного Совета СССР МГБ и МВД СССР были объединены в рамках кампании по укрупнению ведомств в единое Министерство внутренних дел. Существенные изменения произошли и в структуре центрального аппарата нового ведомства. Руководящий орган военной контрразведки стал называться 3-м Управлением МВД СССР, а отделы контрразведки непосредственно в войсках — особыми отделами.
13 марта 1954 г. Указом Президиума Верховного Совета СССР был образован Комитет государственной безопасности при Совете министров СССР, в состав которого были включены 3-е Управление и особые отделы в войсках.
В стране началась реабилитация лиц, пострадавших в предыдущие годы от репрессий. Параллельно шел процесс укрепления законности в деятельности органов государственной безопасности. Некоторые наиболее одиозные руководители управлений и отделов МГБ — МВД были осуждены или отправлены в отставку. Коснулось эта кампания и руководителей среднего звена, а также оперативного состава. В российских традициях работа по освобождению от скомпрометировавших себя работников не обошлась без перекосов. Среди уволенных нередко оказывались и те, кто не запятнал себя в годы репрессий, неплохо проявил себя в военное время.
Преследуя цель оздоровить обстановку в органах государственной безопасности, только в период с марта 1954 по январь 1956 г. ЦК КПСС и другие партийные инстанции направили на работу в них более 4 тыс. молодых сотрудников. В особые отделы КГБ при СМ СССР в 1955-1957 гг. пришло, в частности, около 1500 офицеров. На многие руководящие должности в органах военной контрразведки были назначены бывшие политработники. Считалось, что таким образом партия «восстанавливает свой контроль» над органами государственной безопасности.
В целом, 1953-1957 гг. стали непростым периодом для сотрудников военной контрразведки. Смена руководящего состава, значительное обновление среднего и низшего звена кадров, с одной стороны, безусловно, способствовали улучшению атмосферы в чекистских коллективах, укреплению законности, но, с другой стороны, в работе ряда подразделений центра и периферии не чувствовалось преемственности, несколько снизился профессиональный уровень оперативного состава.
Взятый политическим руководством страны курс на усиление контроля за органами государственной безопасности закономерно привел к тому, что руководителями 3-го Управления КГБ при СМ СССР в течение последующих десятилетий становились бывшие партийные работники, либо профессиональные сотрудники правоохранительных органов, проработавшие определенный период в партийных структурах: Д.С. Леонов, A. М. Гуськов, И.А. Фадейкин, Г.К. Цинев.
С конца 1960-х гг. на должность руководителя 3-го Управления выдвигались кадровые чекисты, прошедшие школу войны в составе особых отделов НКВД и ГУКР «Смерш»: B. В. Федорчук, И.Л. Устинов, Н.А. Душин.
Последними руководителями советской военной контрразведки стали В.С. Сергеев и А.В. Жардецкий.