22 июня 1941 года, в 4 часа утра, без объявления войны фашистская Германия и ее союзники напали на Советский Союз. В этот же день начальник 3-го Управления НКО комиссар госбезопасности 3-го ранга А. Н. Михеев подписал директиву № 34794 «О задачах органов 3-го Управления в связи с началом военных действий по отражению агрессивного нападения фашистской Германии на СССР».
Главной задачей военных контрразведчиков определялось выявление агентуры германских разведорганов, враждебных элементов в РККА, обеспечение боеготовности и боеспособности частей и соединений действующей армии. В качестве одного из основных направлений была выделена зафронтовая работа с задачей внедрения агентуры особых отделов в германские разведывательно-диверсионные школы.
В связи с необходимостью централизации в обеспечении безопасности государства и армии 17 июля И. В. Сталин подписал Постановление Государственного Комитета Обороны СССР «О преобразовании органов 3-го Управления НКО СССР в особые отделы НКВД». Начальником образованного Управления особых отделов был назначен заместитель наркома внутренних дел СССР комиссар госбезопасности 3-го ранга Виктор Семенович Абакумов.
10 января 1942 года Постановлением ГКО СССР 3-е Управление Наркомата военно-морского флота СССР также было передано в ведение Управления особых отделов НКВД СССР. Таким образом, руководство оперативным обслуживанием всех воюющих подразделений страны было сосредоточено в одном органе.