После возвращения в 1930 году в Ленинград Косыгин поступил в Ленинградский текстильный институт, который окончил в 1935 году.
С 1936 по 1937 годы работал мастером, а затем и начальником смены фабрики им. Желябова, а с 1937 по 1938 год был директором фабрики «Октябрьская».
В 1938 году был назначен на пост заведующего промышленно-транспортным отделом Ленинградского обкома ВКП (б) и в том же году был назначен на пост председателя Ленинградского горисполкома, который занимал до 1939 года.
21 марта 1939 года на XVIII съезде Косыгин был избран членом ЦК ВКП (б). В том же году был назначен на пост народного комиссара текстильной промышленности СССР, который занимал до 1940 года. В апреле 1940 года был назначен заместителем председателя Совнаркома СССР и председателем Совета по товарам широкого потребления при СНК СССР.
24 июня 1941 года Косыгин был назначен заместителем председателя Совета по эвакуации при СНК СССР.
11 июля по решению Государственного Комитета Обороны при Совете по эвакуации была создана специальная группа инспекторов, возглавляемая Косыгиным. Под контролем этой группы во второй половине 1941 года было полностью или частично эвакуировано 1523 предприятия, в числе которых 1360 крупных.
С 19 января по июль 1942 года Косыгин в качестве уполномоченного ГКО в блокадном Ленинграде выполнял работу по снабжению мирного населения города и войск, а также участвовал в работе местных советских и партийных органов и Военного совета Ленинградского фронта. Одновременно с этим Косыгин руководил эвакуацией мирного населения из блокадного города и участвовал в создании «Дороги жизни», а именно в выполнении постановления «О прокладке трубопровода по дну Ладожского озера».
23 августа 1942 года Косыгин был назначен уполномоченным ЦК ВКП (б) и СНК СССР по обеспечению заготовок местных видов топлива, а 23 июня 1943 года – председателем Совета Народных Комиссаров РСФСР (с 15 марта 1946 г. – Совет Министров РСФСР).
В 1945 году был назначен на пост председателя Оперативного бюро Совета народных комиссаров РСФСР, привлекался к работе Специального (атомного) комитета, по предложению директора радиевого института В. Г. Хлопина и Первого секретаря Ленинградского обкома и горкома ВКП (б)А. А. Кузнецова А. Н. Косыгин с сотрудником Госплана Н. А. Борисовым в соответствии с решением Спецкомитета выделили дополнительные площади Радиевому институту.
19 марта 1946 года Косыгин был утверждён заместителем председателя Совета Министров СССР с освобождением 23 марта от обязанностей председателя СМ РСФСР. В марте того же года был избран кандидатом в члены Политбюро ЦК ВКП (б).
Во время голода 1946–1947 годов руководил оказанием продовольственной помощи наиболее пострадавшим районам.
С 1946 по 1947 год занимал пост заместителя председателя Бюро Совета Министров СССР. 8 февраля 1947 года Косыгин был назначен на пост председателя Бюро по торговле и лёгкой промышленности при Совете Министров СССР.
В феврале 1948 года был избран членом Политбюро ЦК ВКП (б). 16 февраля был назначен на пост министра финансов СССР. 9 июля был освобождён от обязанностей Председателя Бюро по торговле и легкой промышленности при Совете Министров, а 28 декабря был утверждён министром легкой промышленности СССР, пост которого занимал до 1953 года, с освобождением от обязанностей министра финансов СССР.
С 1948 по 1953 годы являлся членом Бюро СМ СССР.
7 февраля 1949 года был назначен на пост председателя Бюро по торговле при Совете министров СССР. 16 октября 1952 года избран кандидатом в члены Президиума ЦК КПСС.
В 1951 году возглавил комиссию, рассматривавшую вопрос о роспуске ФТФ МГУ.
Со смертью Сталина Косыгин потерял пост заместителя председателя Совета Министров, который занимал с апреля 1940 года, и 15 марта 1953 года с поста министра лёгкой промышленности СССР был назначен министром лёгкой и пищевой промышленности СССР (возглавленное им министерство было образовано тогда же объединением четырёх министерств: возглавлявшегося им до этого лёгкой промышленности, пищевой промышленности (возглавлял И. К. Сиволап), мясной и молочной промышленности (возглавлял И. А. Кузьминых), рыбной промышленности (возглавлял Д. В. Павлов)).
24 августа 1953 года Министерство лёгкой и пищевой промышленности реорганизовано в Министерство промышленности продовольственных товаров под его началом, 7 декабря Косыгин вновь получил пост заместителя председателя Совета министров, 22 декабря был назначен председателем Бюро по промышленности продовольственных и промышленных товаров широкого потребления при СМ СССР.