В 1970-х годах Айман стал одним из лидеров египетской экстремистской группировки «Аль-Джихад аль-ислам», отколовшейся от «Братьев-мусульман». Став самостоятельной, группа аз-Завахири оказалась наиболее мощной и заложила новую стратегию и структуру на основе тезисов старой организации. Ее международная активность отразила нетрадиционные оценки учения о «враге дальнем» и «враге ближнем». В работе «Последнее завещание» аз-Завахири писал, что борьба за создание исламского государства никак не может считаться войной региональной, поскольку «альянс крестоносцев и сионистов, возглавляемый США», сделает все возможное, чтобы не дать мусульманским силам прийти к власти в одной из стран. Поэтому борьба должна вестись как против внутреннего врага (вероотступников), так и против «крестоносцев и сионистов». Причем войну с последними ни в коем случае не стоит откладывать, поскольку так будет значительно легче одержать победу на «внутреннем фронте». Небольшие группы боевиков, считал аз-Завахири, должны наводить «большой страх» на «врагов ислама». Для этих целей планировалось проводить акции, от которых «враг будет нести огромные потери». Подобная тактика, утверждал аз-Завахири, является единственным языком, «который понимает Запад». При этом самым эффективным тактическим оружием египтянин считал «готовность моджахедов к самопожертвованию».
Позднее Айман стал руководителем группы, состоявшей из 1000 «египетских афганцев» – граждан АРЕ, ветеранов войны в Афганистане, составивших «костяк» «Аль-Каиды».
В середине 1980-х годов бывший врач возглавил внешнее руководство «Аль-Джихада» в Афганистане. С того времени, наряду с египетской организацией, в разных странах возникли внешние структуры и ячейки, самостоятельно определявшие свою военную стратегию и дублирующие структуру прежнего «Аль-Джихада». К середине 1990-х годов такие ячейки действовали в девяти государствах мира: пяти арабских, трех европейских и одном азиатском.
Айман является автором нескольких фундаментальных трудов по истории, теории и практике исламских движений. Наиболее известным из них является «Горький урожай»; в этой книге аз-Завахири критически переосмыслил деятельность «Братьев-мусульман».
Молодого врача, работавшего в престижной клинике в одном из лучших районов Каира, впервые арестовали в октябре 1981 года. Причиной ареста послужило то, что он принимал активное участие в организации убийства Садата на военном параде в каирском районе Наср-сити. И снова аз-Завахири быстро оказался на свободе: доказательств его причастности к убийству следственным органам собрать не удалось. Позднее, в 1990-х годах, Аймана обвиняли в большом числе попыток покушения на видных египетских политиков. Его группа начала свои акции с убийства председателя парламента Рифата Махгуба. Наиболее шумным стало покушение на тогдашнего премьер-министра Атефа Сидки. Тогда же, в 1993 году, аз-Завахири осуществил теракты против министра печати и информации Сафвата аш-Шарифа, министра внутренних дел Хасана аль-Альфи и генерала Мухаммада Абд аль-Латифа аль-Гобаши. Через год жертвой бывшего врача стал генерал службы безопасности и начальник отдела по борьбе с религиозным экстремизмом Рауф Хейрат. В 1995 году группа распространила коммюнике с угрозами в адрес президента Египта Хосни Мубарака. В том же году боевики аз-Завахири в Женеве шестью выстрелами в упор в подземном гараже убили торгового представителя Египта Аля ад-Дин Назами. Через шесть дней террористы устроили взрыв в посольстве Египта в Исламабаде; в результате погибло 18 человек. Попытку же теракта в центре Каира, в районе известного базара Хан эль-Халили, спецслужбам удалось предотвратить буквально в последний момент. А в 1996 году аз-Завахири организовал и провел взрыв египетского посольства в Исламабаде. Кроме того, США обвиняют террориста в организации взрывов собственных посольств в Кении и Танзании летом 1998 года.
Когда после трагических событий в Каире в 1980 году египетские спецслужбы нанесли тяжелый удар по «Аль-Джихаду», организация находилась на грани уничтожения. Аз-Завахири, который был вынужден перебраться в Афганистан, задался целью возродить группу. В начале 1998 года она слилась с организацией «Аль-Каида». Аз-Завахири, по некоторым данным, являющийся не только близким другом, но и родственником бен Ладена, быстро занял положение «правой руки» главы организации и его личного врача. Считается, что египтянин – вероятный преемник бен Ладена, если лидер «Аль-Каиды» будет схвачен или убит.