Рос Житков в интеллигентной семье. Отец его, Степан Васильевич, был преподаватель математики, составитель учебников, мать, Татьяна Павловна, — пианистка. В доме Житковых постоянно бывали профессора, ученые, музыканты; здесь обсуждались книжки столичных журналов, звучали рояль и скрипка; здесь, в кабинете отца, стоял телескоп — маленький, но настоящий. Дети жили среди книг и нотных тетрадей, среди споров о математике, физике, музыке, Толстом, Менделееве, Моцарте и более всего, горячее всего — о политике, о революции, о партийных программах. Степан Васильевич в Петербурге был дважды исключен из высших учебных заведений за связь с народовольцами, а потом, сделавшись преподавателем Новгородской учительской семинарии, с таким искусством и упорством пробуждал в своих слушателях критический дух, что начальство сочло семинарию рассадником крамолы и закрыло ее. Мать Житкова в революционном движении участия не принимала, но глубоко сочувствовала революционерам. Она была смелая женщина: когда кого-нибудь из друзей сажали в тюрьму — носила туда передачи; когда подпольщикам надо было тайком выбраться из города — припасала одежду. В Новгороде политические ссыльные были частыми гостями семьи; названия дальних сибирских городов: Семипалатинск, Минусинск, Якутск — тогдашние места ссылки — для детского слуха звучали вполне обыденно. Среди закадычных друзей Степана Васильевича был человек, увозивший Софью Перовскую на извозчике после покушения на царя, а когда молодежь подросла, накануне революции, в надежном и дружественном доме Житковых в Одессе нередко собирался подпольный комитет большевиков…
Еще мальчиком Борис привык работать, действовать, думать вместе с людьми труда. Его привлекала опасность, борьба, требующая напряжения воли: пронести листовки в гимназическом ранце под самым носом у городового, обмануть шпика. Привлекало всякое мастерство и умение. Еще малышом, еще в Новгороде, наглядевшись на тамошних плотников, он потребовал, чтобы ему подарили топорик, и стал мастерить табуретки, пароходики, лодочки.
В Одессе, в том же дворе, где жили Житковы, помещались мастерские Русского общества пароходства и торговли — токарные, слесарные, столярные. Тут Борис влюбился в инструменты, в станки, в умные и сильные рабочие руки. «В раннем возрасте он мастерил лодочки, — рассказывает его сестра, — а теперь делал настоящие модели яхт… Рабочие с охотой возились с любознательным мальчиком, учили его, давали в руки инструменты, подпускали к станкам». Еще мальчиком выучился Борис метко стрелять — ходил на охоту в Крыму, когда гостил летом на хуторе у брата Софьи Перовской. Увлекался он и фотографией, и скрипкой, и дрессировкой животных. А более всего — морем: тут мастерство, умение связано было с постоянной опасностью, труд — с закалкой мужества.
Да и морское искусство было в традиции семьи: три брата Степана Васильевича плавали на военных кораблях и дослужились до адмиральского чина, четвертый был морским инженером, пятый утонул во время учебного кругосветного плавания. И маленький Борис Житков рос моряком.
Когда семья переехала в Одессу, все то, что манило мальчика в рассказах старых моряков, он увидел воочию: беспокойное море, океанские пароходы, смелых людей, не боящихся бурь. О скольких детских приключениях Бориса на море, смешных, а то и страшных, рассказывают в своих воспоминаниях его сестры и гимназические друзья! Вот Борис рано утром отправился вместе с сестрой Надей ловить скумбрию. «Посредине гавани пришвартовались к бакену — большой железной бочке на якоре. Утро прекрасное, скумбрия ловится. Какая досада: противная рыбина крючок откусила и унесла! Жаль бросить ловлю. Посадил Борис сестру на бочку, передал ей корзинку», а сам на лодке домой за крючками. Возвращается — бочка есть, а сестры нет. Оказывается, к бочке было пришвартовано военное судно; пока Борис ездил, моряки на шлюпке увезли девочку на борт, чтобы она не свалилась в море, когда станут отдавать концы.
Среди портовых ребят Борис быстро сделался любимым командиром. Когда ему было одиннадцать лет, знакомый моряк подарил Житковым парусную шлюпку. Ребята назвали ее «Вперед!», и скоро Борис научился владеть рулем. «Управлял лодкой Борис виртуозно, — рассказывает его сестра, — кажется, вот-вот налетит на волнорез, — ловкий поворот, и лодка летит уже в другую сторону, легко и свободно несется среди дубков, барж, катеров…»