Это не означало, что социальные вопросы на объекте решались запросто и полностью. Острейшей проблемой объекта с первых шагов его организации, да и в дальнейшем, была жилищная. Причем именно она регламентировала широкое развертывание деятельности КБ-11. Иначе невозможно было привлечь необходимых для дела специалистов. Уже к началу осени 1946 года потребовалось жилье. Для ускорения строительства решили использовать сборные щитовые дома, полученные по репарациям из Финляндии. Было завезено около 100 домов этого типа. Здесь вновь обращает на себя внимание стиль руководства. Своим распоряжением министр Б. Л. Ванников определил основные направления решения проблемы жилья. Главное внимание он обращал на качество сборки домов, чтобы было обеспечено нормальное проживание людей в самое суровое зимнее время. Кроме того, приказ детализировал всю поквартирную номенклатуру и четко определял долю жилья, которая может быть использована для руководства. Кстати, даже когда Ю. Б. Харитон прибыл в поселок, поместить его в какое-либо приличное место не удалось. Ему предложил пожить временно у него Н. А. Петров, у которого была отдельная квартира. Так решался вопрос о привилегиях.
Следует отметить, что в начальный период планы строительства жилья катастрофически не выполнялись. Руководство объекта постоянно обращалось к Л. П. Берии, подчеркивая зависимость выполнения производственных задач от ввода жилья, но дело продвигалось очень медленно. Например, из 7700 квадратных метров жилплощади, которые должны были быть получены к 1 января 1947 года, не была подготовлена под сдачу и половина. Увы, но организация труда на строительстве жилья была слабой, практиковались приписки (в денежном выражении планы не только выполнялись, но и перевыполнялись), отсутствовала заинтересованность «спецконтингента» и т. д. Находясь в лесном массиве и имея свои лесоперерабатывающие производства, строители не сдали за весь 1946 год ни метра жилплощади, построенной из местного леса. Несмотря на мобилизующие резолюции Лаврентия Павловича на письмах руководства объекта, дело двигалось медленно. Судя по всему, руководство МВД не давало в обиду свою строительную организацию, да и себя тоже. Более того, оно сумело добиться корректировки постановления Совета министров СССР и переноса на более поздние сроки ввода не только жилых, но и производственных мощностей первой очереди строительства.
Помимо всего прочего, причиной такого положения была сама система руководства строительством, которая вводилась как временная, но просуществовала достаточно долго. П. М. Зернов писал Ванникову, что более глупого положения, чем у начальника объекта, трудно представить. Отвечая за правительственные сроки развертывания работ, он не имел ни малейших рычагов воздействия на строителей, ибо фактически строительная организация была и заказчиком, и подрядчиком. Зернов требовал изменить подобный порядок, но изменить его оказалось не так уж просто. Норму жилья проектировщики определили в шесть квадратных метров на человека, но даже она в течение десятилетий для многих семей была недостижима. Так что легенда, сотворенная некоторыми журналистами, о построении коммунизма на отдельно взятом объекте не отвечает истине. По существу, все годы существования закрытой зоны ощущалась нехватка жилья, и лишь к девяностым годам норму обеспечения жильем сотрудников сумели поднять до девяти квадратных метров на человека. Что же касается сороковых и пятидесятых годов, то жили и в землянках, или, как их называли, «засыпушках».
С вводом в строй производственных сооружений дело обстояло еще хуже. Характерной особенностью создания будущего ядерного центра было постоянное выявление недостаточности запланированного объема работ для решения поставленной задачи. По ходу дела ученые-экспериментаторы обнаруживали, что необходимы то еще одна железобетонная башня для проведения взрывных работ, то здание для размещения мощного пресса, или дополнительные казематы. Это и не удивительно, принимая во внимание чрезвычайную новизну самой задачи.