«Цеппелин» состоял из руководящего штаба, находившегося до весны 1943 г. в Берлине, в здании VI управления РСХА (район Грюневальд, Беркаерштрассе, д. 32/35, затем — в районе Ванзее, Постдамерштрассе, д. 29), а также специальных воинских формирований, особых команд и учебных лагерей, действовавших на советско-германском фронте.
За весь период войны орган последовательно возглавляли: штурмбанфюрер СС Вальтер Курек, штурмбанфюрер СС Рольф Редер, оберштурмбанфюрер СС доктор Хайц Грефе, штурмбанфюрер СС доктор Эрих Хенгельхаупт и оберштурмбанфюрер СС Рапп.
Руководящий штаб «Цеппелина» состоял из аппарата начальника органа и трех отделов: Цет 1 — комплектование и оперативное руководство низовыми органами, снабжение агентуры техникой и снаряжением; Цет 2 — обучение агентуры; Цет 3 — обработка всех материалов о деятельности особых лагерей, фронтовых команд и агентуры, переброшенной в тыловые районы СССР.
В своей повседневной деятельности этот разведывательно-диверсионный орган руководствовался так называемым «Планом действий для политического разложения Советского Союза». Намеченную цель предполагалось осуществить путем заброски специально обученной агентуры в глубокие тыловые районы Советского Союза, имеющие важное оборонное значение, а также в национальные области и республики. Перед агентами ставились следующие задачи: сбор разведывательных данных о политическом положении в СССР, проведение националистической антисоветской пропаганды, организация повстанческого движения и осуществление террористических актов против партийных и советских лидеров.
Руководители германского рейха надеялись на то, что «Цеппелин» сможет подорвать крепость советского тыла и этим окажет реальную помощь командованию немецкой армии в борьбе против Красной Армии.
Весной 1942 г. «Цеппелин» направил на советско-германский фронт четыре особых команды (зондеркоманды), которые были приданы оперативным группам полиции безопасности и СД при основных армейских группировках вермахта.
Зондеркоманды «Цеппелина» занимались отбором военнопленных для подготовки агентуры в учебных лагерях, собирали сведения о политическом и военно-экономическом положении СССР путем опроса военнопленных, проводили сбор обмундирования для экипировки агентуры, различных воинских документов и других материалов, пригодных для последующего использования. Все документы и предметы экипировки направлялись в руководящий штаб, а отобранные военнопленные — в особые лагеря «Цеппелина».