Перед войной Ленинград являлся главным промышленным центром страны, и в 1938 году промышленность Ленинграда производила больше продукции, чем промышленность Москвы. Ленинград давал тогда почти пятую часть всей валовой промышленной продукции СССР. Только для того, чтобы войти в курс главных дел в промышленно-транспортном отделе обкома такого города, нужно не менее двух-трех лет. Но Косыгин работал в этом отделе всего несколько месяцев. Еще в конце 1937 года был арестован и вскоре расстрелян председатель Ленинградского горисполкома И. Ф. Кодацкий, видный партийный работник, активный участник Октябрьской революции, член Петроградского Совета с первых дней его основания. Вместе с ним были арестованы почти все члены Ленсовета. Для работы в горсовете срочно подбирались новые люди. В 1938 году, когда Брежнев еще был заместителем председателя исполкома горсовета Днепродзержинска, 34-летний Косыгин занял место председателя исполкома Ленсовета. На XVIII съезде ВКП(б) Косыгин был избран членом ЦК партии.
В 1939 году Сталин и Молотов решили произвести значительное разукрупнение народных комиссариатов. Начали создаваться новые наркоматы, в числе которых был и наркомат текстильной промышленности. Когда возник вопрос о назначении наркома, Микоян предложил кандидатуру Косыгина. Это предложение было принято, и Косыгина срочно вызвали в Москву. Только при встрече на вокзале ему сообщили о том, что он назначен членом Правительства СССР. Еще через год Косыгин был назначен одним из заместителей Председателя Совета Народных Комиссаров СССР. Главой Советского правительства в это время был еще Молотов, но с 6 мая 1941 года этот пост занял сам Сталин. Хотя Косыгин и не надевал в годы Отечественной войны генеральских мундиров, масштабы его деятельности и заслуг несравнимы с заслугами полковника Брежнева. С осени 1941 года и на протяжении всего 1942 года Косыгин был заместителем председателя Совета по эвакуации, руководил переброской и размещением в восточных и южных районах страны многих тысяч предприятий и учреждений. Зимой 1941/42 года Косыгин находился в окруженном и голодающем Ленинграде в качестве уполномоченного Государственного Комитета Обороны. Он помогал налаживать снабжение города, занимался эвакуацией части населения и предприятий. С 1943 по 1946 годы Косыгин, оставаясь заместителем Председателя Совета Народных Комиссаров СССР, выполнял и обязанности Председателя СНК РСФСР. В то время как Брежнев стал первым секретарем Запорожского обкома КП(б)У, Косыгин был избран кандидатом в члены Политбюро ЦК ВКП(б). С 1948 по 1952 год Косыгин занимал пост члена Политбюро и одновременно выполнял обязанности заместителя Председателя Совета Министров СССР, министра легкой промышленности СССР и в течение одного года еще и министра финансов СССР. Уже тогда Косыгин был хорошо известным всей стране хозяйственным и государственным деятелем.
А. Н. Косыгин был тесно связан с такими партийными и государственными руководителями, как Н. А. Вознесенский, А. А. Кузнецов, М. И. Родионов, которые были арестованы и расстреляны в 1949–1950 годах по сфабрикованному Сталиным, Маленковым и Берией «ленинградскому делу». Несомненно, что и Косыгин мог бы легко стать жертвой этой политической провокации. Но он уцелел. Вполне возможно, что Косыгин и Брежнев впервые встретились и познакомились друг с другом на XIX съезде партии, на котором Алексей Николаевич был избран кандидатом в члены Президиума ЦК.
После смерти Сталина Косыгин временно потерял место в Президиуме ЦК КПСС, но сохранил положение в системе государственных и хозяйственных органов. Он оставался заместителем Председателя Совета Министров СССР, а с 1960 года стал первым заместителем. С 1953 по 1960 год он также был министром легкой и пищевой промышленности, потом министром товаров широкого потребления, первым заместителем председателя Государственной экономической комиссии, первым заместителем председателя Госплана, председателем Госплана. С 1957 года он снова кандидат, а с 1960 года – член Президиума ЦК КПСС. Уже с 1960 года Косыгин стал фактическим руководителем всей системы промышленного производства и планирования в СССР.
Как известно, Хрущев часто вмешивался в работу всех отраслей народного хозяйства, но его любимой отраслью было сельское хозяйство. Когда Косыгин по нескольким, даже не слишком важным вопросам, касающимся деревни, принял самостоятельное решение (из-за слишком долгих отлучек Хрущева с ним далеко не всегда удавалось все согласовывать), то Хрущев, как об этом говорилось на октябрьском Пленуме ЦК КПСС, дважды сделал выговор Косыгину «за вмешательство не в свое дело». В целом Косыгин работал спокойно и умело, сохраняя ровные и, в основном, хорошие отношения как с большинством министров, так и с Хрущевым, хотя именно Косыгину приходилось нередко выправлять многие «перекосы» в системе экономики, образовывавшиеся из-за слишком поспешных и часто недостаточно продуманных реформ Хрущева. Если между ними и бывали споры и разногласия, то они разрешались в рабочем порядке. По свидетельству Сергея Никитича Хрущева, уже в начале 1964 года Никита Сергеевич приходил к мысли о своем уходе с поста Председателя Совета Министров и даже главы партии. При этом он говорил, что хотел бы видеть своим преемником А. Н. Косыгина, чего никогда не говорил о Брежневе.