Светлана Аллилуева пишет, что Надежда Сергеевна для Якова «делала все возможное, чтобы скрасить его нелегкую жизнь, защищала его перед отцом, всегда относившимся к Яше незаслуженно холодно и несправедливо.
Мама утешала его в первом неудачном браке, когда родилась и умерла девочка. Мама очень огорчилась и старалась сделать жизнь Якова более спокойной. Но это было вряд ли возможно… Должно быть, на маму произвела тягостное впечатление попытка Яши покончить с собой. Доведенный до отчаяния отношением отца, Яша выстрелил в себя у нас на кухне в Кремле. Он, к счастью, только ранил себя… Но отец нашел в этом повод для насмешки. «Хо, не попал», — любил он поиздеваться. Мама была потрясена. И этот выстрел, должно быть, запал ей в сердце надолго…»
Три месяца после невероятно трагической истории Яков лежал в больнице. Навещали его Надежда Сергеевна, Г. К. Орджоникидзе, С. М. Киров, сестры Ленина Анна Ильинична и Мария Ильинична, П. С. Жемчужина, Алеша Сванидзе, Сергей Яковлевич и Ольга Евгеньевна Аллилуевы. Сталин у постели больного сына не был.
По воле Сталина отношения Якова с Зоей были прерваны навсегда.
После выздоровления Яков продолжал заниматься в Институте инженеров транспорта. В 1931 году прошел первую практику в депо станции Кавказская.
Когда приходил в Кремль, возился со Светланой и Васей, играл с ними. Яша, Вася и Светлана были довольны, когда в 1931 году единственный раз из Грузии в Москву приехала их бабушка Екатерина Георгиевна. Ей исполнился тогда 71 год. Она привезла внукам подарок — ореховое варенье и сухие фрукты.
Осенью того же года в Тифлисе у нее взял интервью американский журналист Кникербокер. Екатерина Георгиевна в национальном грузинском костюме сфотографировалась с Кникербокером. По ее просьбе он послал этот снимок Сталину. Интервью Кникербокера с Екатериной Георгиевной и фотоснимок были опубликованы тогда в американском журнале.
В марте 1932 года Яков практиковался на паровозоремонтном заводе в городе Козлове (ныне Мичуринск). Выдержал там экзамен на должность машиниста-дизелиста.
Московский писатель Лев Разгон был знаком с Я. М. Свердловым, знал его жену Клавдию Тимофеевну Новгородцеву, ее детей. До 1936 года эта семья жила в кремлевской квартире. К. Т. Новгородцева неоднократно рассказывала ему о тяжелой судьбе Н. С. Аллилуевой. Разгон пишет о Надежде Сергеевне в книге «Непридуманное»: «Это была скромная, добрая и глубоко несчастная женщина. Несколько раз, когда я приходил в Кремль к Свердловым, я заставал у Клавдии Тимофеевны заплаканную Аллилуеву. После ее ухода Клавдия Тимофеевна говорила: «Бедная, ох бедная женщина»».
Многие говорили тогда о Надежде Сергеевне, вынужденной сносить характер своего мужа. И про то, как он бьет детей — Свету и Васю, и про то, как он хамски обращается со своей тихой женой. И про то, что в последнее время Коба стал принимать участие в «забавах Авеля». Какие это были забавы? «Сталин объявил, — читаем в книге «Непридуманное», — что «веселее» должны жить не только его подданные, но и он сам. И начал участвовать в той свободной и вольной жизни, которую вел его самый близкий, еще с юности, человек — Авель Енукидзе. И тогда пошли слухи о том, что железный Коба размягчился… Сталин и Авель участвовали в гульбищах».
Н. С. Аллилуева с возмущением говорила Якову о том, что Сталин приблизил к себе Лаврентия Берию — самую мрачную фигуру из его ближайших «соратников».
Светлана Аллилуева пишет, что все чаще поблескивало в кабинете Сталина пенсне Лаврентия Берии, еще тогда скромненького, такого тихонького: «Он приезжал временами из Грузии «припасть к стопам…» Все, кто тогда близок был нашему дому, ненавидели его, начиная с Реденса и Сванидзе, знавших его еще по работе в ЦК Грузии. Отвращение к этому человеку и смутный страх перед ним были единодушными у нас в кругу близких».
Н. С. Аллилуева еще в 1929 году спорила со Сталиным о Берии, говорила: «Он же негодяй, я не сяду с ним за один стол». Сталин в ответ твердил: «Ну, убирайся вон, это мой товарищ, он хороший чекист, он помог нам в Грузии предусмотреть восстание мингрелов, я ему верю…»
В ноябре 1932 года, в 15-ю годовщину Октябрьской революции, Н. С. Аллилуева присутствовала на торжественном приеме в Кремле. Сталин знал, что жена не может пить коньяк или вино: от одной капли алкоголя у нее начинались судороги. После тоста в честь продолжателя дела Ленина товарища Сталина все присутствовавшие поднялись и стоя осушили бокалы. Н. С. Аллилуева не выпила вино и поставила бокал на стол. Сталин это заметил, громко обратился к ней: