5 апреля 1921 года сотрудники ЦАГИ голосуют за избрание Туполева заместителем Н.Е.Жуковского.
Отныне его должность называется «товарищ директора», т.е. заместитель. Андрей Николаевич приступает к работе по внедрению легких металлов в конструкцию самолетов. Позднее это направление деятельности сыграет важнейшую роль в развитии самолетостроения. Несмотря на значительное сопротивление, оказываемое сторонниками деревянных конструкций, к которым присоединились и деятели деревообрабатывающей промышленности, Туполев упорно отстаивает свою линию. В первую очередь необходимо было определить технические характеристики металлов, их сорта и качественные показатели, хотя практически сразу стало ясно, что главным материалом будет дюралюминий. Работа требовала точных расчетов прочности и свойств каждого металла и создания соответствующих производств.
Отобрав тот или иной металл, Туполев приступал к испытаниям. Одним из способов испытаний и оценки эксплуатационных свойств металлов стало строительство аэросаней и быстроходных катеров. К лету 1922 года Кольчугинский металлургический завод дал первые слитки авиационного алюминия.
В октябре 1922 года Туполев добивается создания в ЦАГИ нового подразделения – «комиссии по металлическому самолетостроению». Несмотря на то что официально имя А.Н,Туполева было присвоено конструкторскому бюро лишь после его кончины, сам Андрей Николаевич считал, что история КБ Туполева берет начало именно с момента формирования комиссии 22 октября 1922 года. Как заместитель директора ЦАГИ по АГОС (авиации, гидроавиации и опытному строительству), Туполев занимался также проблемами авиационных металлов.
Коллектив, возглавляемый Туполевым, создает несколько аэросаней, доказавших свою неприхотливость и надежность в суровых условиях Севера, где они главным образом и эксплуатировались. С появлением новых металлов стало возможным строительство цельнометаллических саней. Первые аэросани были построены в феврале 1923 года. После успешных испытаний серийное производство аэросаней было налажено в двух местах: на металлургическом заводе Марти в Ленинграде и Кольчугинском металлургическом заводе. Здесь выпускали модели аэросаней от АНТ-1 до AHT-IV (последняя модель в 1928 году была показана на выставке в Берлине).
В октябре 1921 года Туполев начинает строительство своего первого быстроходного катера АНТ-1 (такое же обозначение спустя год получил и первый самолет Туполева). Основным материалом, использованным для строительства катера, было дерево. Работа над катером потребовала создания в Крыму специальной базы для испытания и доработки катеров и гидросамолетов. Здесь же изучались процессы коррозии новых металлов в соленой воде. Опыт, полученный при разработке и эксплуатации аэросаней и быстроходных катеров, позволил Туполеву значительно расширить собственные знания и проложить путь к конструированию и строительству цельнометаллических самолетов.
Через шесть месяцев, в апреле 1922 года Туполев приступает к работе над конструкцией своего первого самолета. Это одноместный спортивный моноплан свободнонесущей схемы из дерева и металла с размахом крыла 7,2 м. В свой первый полет самолет, работа над которым заняла полтора года, отправился 21 октября 1923 года. Пилотировал его Евгений Погосский.
Между тем в мае 1923 года Туполев начинает проектирование АНТ-2 – первого советского цельнометаллического самолета. Это был свободнонесущий моноплан с высокорасположенным крылом. Пилот самолета размещался в открытой кабине, а двое пассажиров – в закрытой, лицом друг к другу. На самолете устанавливался двигатель «Люцифер» фирмы «Бристоль» с воздушным охлаждением мощностью 100 л.с. Первым пилотом, поднявшим АНТ-2 в воздух 26 мая 1924 года, был Николай Петров. Несколько таких самолетов было построено на Кольчугинском заводе. Самый первый АНТ-2 сохранился в Музее авиации и космонавтики в городе Монино под Москвой. Пять построенных в Кольчугине самолетов обслуживали трассу Москва – Горький.
К началу двадцатых годов возглавляемый Туполевым коллектив насчитывал тринадцать инженеров. Основные силы были в то время брошены на разработку и испытание алюминиевых сплавов, пригодных для использования в самолетостроении. В январе 1925 года Туполев впервые выезжает за границу: во главе группы специалистов он посещает Германию и Францию, где изучает опыт борьбы с коррозией в авиационной промышленности, а также ряд других проблем. Несмотря на положительную, в общем, оценку накопленного в этих странах опыта, Туполев приходит к выводу, что для условий России в наибольшей степени подходит метод анодирования, применяемый в Великобритании, и вскоре эта технология принимается в качестве стандартной в Советском Союзе.
В июле 1924 года в ЦАГИ поступает заявка ВВС на проектирование двухместного самолета-разведчика. Вполне естественно, задание направляется в отдел АГОС, которым руководит Туполев. В результате на свет появился АНТ-3 – первый туполевский биплан, фактически, полутораплан, поскольку нижняя плоскость его была значительно короче верхней. Выбор биплана в качестве конструктивного решения самолета был продиктован имевшимся на тот момент двигателем. Кроме того, меньший размах крыльев, характерный для биплана, улучшал маневренность самолета, так необходимую истребителю и разведчику. Первый полет АНТ-3 состоялся в августе 1925 года, после чего машина была немедленно поставлена в серийное производство на ГАЗ-5 (Государственном авиационном заводе № 5, который в 1927 году в честь десятой годовщины Октябрьской революции был переименован в завод «Красный октябрь»).
Проектируя АНТ-3, Туполев остановился на гофрированном металле. Это позволило добиться более высокой прочности дюралюминиевых поверхностей крыла и фюзеляжа. Изначально патент на гофрирование был зарегистрирован в Германии фирмой «Юнкере». В 1923 году Народный комиссариат производства заключил с «Юнкерсом» договор об оказании Советскому Союзу помощи в создании завода по производству алюминия и обучении инженеров технологии производства. Тем не менее на случай, если такое соглашение не удалось бы заключить, Туполев и его коллеги самостоятельно разработали гофрированный алюминий, который получил название «волна ЦАГИ» (по аналогии с «волной Юнкерса»). Расчеты Туполева показывали, что созданный в ЦАГИ гофрированный алюминий оказывался на 25% прочнее и на 5% долговечнее германского. Более сложная технология производства и клепки вызывали сильное противодействие со стороны производственников, однако Туполев сумел добиться своего, и новый гофрированный металл был внедрен в производство. «Юнкере» возбудил в международном суде в Гааге иск против Наркомата производства на том основании, что именно ему принадлежали международные патенты на гофрированный алюминий, но иск был отклонен.
Между тем Туполеву не давала покоя еще одна проблема: сложно выпускать самолеты серийно без создания испытательных машин, на которых отрабатывались бы новые технические решения и выявлялись слабые места конструкции. Вскоре в рамках отдела АГОС начинается создание экспериментальной базы. Учитывая, что первоначально институт ЦАГИ был задуман как научно-исследовательская организация, многие руководители возражают против включения в его структуру экспериментального подразделения, но Туполев в очередной раз преодолевает сопротивление, и 14 ноября 1924 года при отделе АГОС появляется новое подразделение.
Производство и помещения для инженерного персонала разместили недалеко от ЦАГИ в здании на углу Вознесенской и Немецкой улиц (теперь это улицы Радио и Бауманская). Задача нового подразделения, в состав которого вошел, в частности, цех по строительству опытных самолетов, заключалась в развитии испытательных технологий в интересах серийного производства. Проходит совсем немного времени – ив новом здании работает уже 185 сотрудников из 305 человек, состоявших в штате ЦАГИ. Здесь проектировалось и создавалось множество самолетов Туполева. В течение нескольких лет после организации экспериментальной базы Туполев работает над такими машинами, как АНТ-4/ТБ-1, истребитель АНТ-5 (1927), АНТ-7/Р-6 (1929), пассажирский самолет АНТ-9 (1929), четырехмоторный бомбардировщик АНТ-6/ТБ-3 (1930), АНТ-14 (1931).