Но вскоре по прибытии в Пекин в феврале 1920 года его поглощают планы создания Коммунистической партии Китая. В ту пору он проводит переговоры с библиотекарем своего университета Ли Дачжао и другими интеллектуалами, посещает заводы и железнодорожные станции, где обсуждает марксизм с рабочими, продолжает и дальше знакомиться с произведениями Маркса, Энгельса и других социалистов. Встречает Ян Кайхуэй, которая также изучает марксизм. Открывшись в симпатиях друг к другу и преданности делу революции, они обручаются.
После Пекина Мао провёл четыре месяца в Шанхае, крупнейшем промышленном и торговом центре Китая. Здесь он проводит переговоры с Чэнь Дусю и другими шанхайскими марксистами. Чтобы заработать на жизнь, он нанимается в прачечную и работает там по двенадцать — четырнадцать часов. Именно тогда, в мае 1920 года, в Шанхае возникает первая коммунистическая группа Китая.
Вернувшись в Хунань в июле 1920 года, Мао начал работу по созданию там подобной коммунистической группы. Его отец умер в начале года и поэтому Мао сначала обосновался в Шаошани. Два его брата и приёмная сестра были в числе первых принятых в организацию. Затем он переехал в Чаншу, где продолжил набор. Там он взялся за работу директора начальной школы, а также стал преподавать в училище колледжа, впервые начав получать нормальную зарплату.
К концу 1920 года Мао женился на Ян Кайхуэй. Пока Мао работал директором начальной школы, они прожили вместе в Чанше около полутора лет. Они считались идеальной парой. Ян также была вовлечена в работу партии, членом которой стала в 1922 году. У них было двое сыновей, один из которых погиб в 1950 году, сражаясь против империализма США добровольцем на Корейской войне. Другой стал бухгалтером. Ян, которая вела секретную работу для партии, в 1930 году была арестован и казнена.
Хотя Мао и участвовал в различных выступлениях в тот период, основным направлением его работы было организационное строительство КПК. После формирования коммунистической группы в провинции Хунань Мао отправился в Шанхай для участия в первом съезде КПК, тайно проведённом в июле 1921 года. Он был одним из двенадцати делегатов, представлявших 57 членов партии.
После съезда Мао становится районным секретарём провинции Хунань. С самого начала он уделял особое внимание партийному строительству в провинции Хунань на основе ленинских принципов партии, привлекая молодёжь из уже существующих революционных организаций, а также передовых рабочих, завоёванных путём развёртывания рабочего движения. Чтобы повысить идейно-политической уровень членов партии и союза молодёжи, помочь им вести коммунистическое воспитание в массах, он организовал издание двух ежемесячных журналов.
Вплоть до 1923 года Мао сосредотачивается на организации рабочих в Чанше и Аньюаньских шахтах (в соседней провинции Цзянси). В августе 1921 года он создаёт первый коммунистический профсоюз. В 1922 году он формирует Хунаньское отделение Всекитайского рабочего секретариата, становится его председателем. Движение на Аньюанских шахтах — отличный пример коммунистической организации. Партия сначала организует школы для работников шахты, давая им марксистское образование. Затем создаётся профсоюз. Одновременно формируется отделение Социалистического союза молодёжи среди рабочих, лучшие представители которых позже вступают в партию. Крупные забастовки на Аньюанских шахтах имеют широкий резонанс по всей стране. Там образуется сильная организация, пережившая репрессии. Рабочие оттуда оказывают ценную поддержку и участвуют в различных этапах революционной войны. Аньюань был связным центром первой коммунистической базы в горах Цзинган.
Мао не участвует во втором съезде КПК в июле 1922 года, пропустив своё назначение. Он принимает участие в третьем съезде КПК в июне 1923 года, где избирается в ЦК. На съезде принимается решение продвигать антиимпериалистическую, антифеодальную линию национального фронта в сотрудничестве с партией Гоминьдан во главе с Сунь Ятсеном. Членам коммунистической партии было дано указание в личном порядке присоединиться к партии Гоминьдан. Мао сделал это и был избран кандидатом в члены ЦИК Гоминьдана на его первом и втором съездах в 1924 и 1926 году. Он работает начальником Центрального отдела пропаганды Гоминьдана, редактирует «Чжэнчжи чжоубао» («Еженедельник „Политика“»), руководит шестым набором курсов крестьянского движения.