Он был младший в семье известного петербургского журналиста Бориса Осиповича Харитона. Когда он родился, старшей сестре Лиде было 5 лет. Средней, Ане,— 3 года. Семья занимала три маленькие комнаты в мансарде семиэтажного дома на улице Жуковского. В доме была странная лестница, марши которой отделялись перегородками друг от друга. Анна Борисовна вспоминает: «В 1916 году у нас случился пожар. Загорелось помещение где-то на третьем этаже. Дым повалил прямо к нам в мансарду. Двенадцатилетний Люся (так в семье называли Юлия Борисовича) не растерялся, намочил под краном полотенца, дал их мне с Лидой, чтобы дышать сквозь мокрую ткань, и вывел по лестнице, полной дыма, во двор».
Важную роль в образовании Юлия Борисовича сыграли книги. Их было много в домашней библиотеке. До сих пор с благодарностью вспоминает он десятитомную детскую энциклопедию, на обложке каждого тома которой была изображена молодая женщина, рассказывающая мальчику и девочке о науках. Не малую роль сыграли книги известного популяризатора Я. И. Перельмана. В 1915 году Борис Осипович подарил сыну простенький фотоаппарат с постоянной наводкой на фокус и «падающими фотопластинками». Увлечение фотографией Юлий Борисович сохранил на всю жизнь.
В 1916 году он поступает во второй класс коммерческого училища. По программе это соответствует четвертому классу современной средней школы. Здесь, наряду с немецким, изучает французский язык. Летом 1917 года, после окончания третьего класса, сдает сразу за четвертый и становится учеником пятого класса реального училища. Затем получает разрешение сдать экстерном еще за один класс и к лету 1919 года получает диплом об окончании всех семи классов тогдашней единой трудовой школы, затратив на учение в школе только три года.
С тринадцати лет Харитон начинает работать. Сначала в библиотеке Дома литераторов, а после окончания реального училища около года работает электромонтером ремонтных мастерских телеграфа Московской Виндаво-Рыбинской железной дороги. В 1920 году становится студентом электромеханического факультета Петроградского политехнического института. Здесь повезло: его потоку читал курс физики Абрам Федорович Иоффе. После нескольких лекций этого замечательного педагога и ученого Харитон понимает: физика много более интересная и широкая наука, чем электротехника. В начале 1921 года Харитон переходит на организованный А. Ф. Иоффе физико-механический факультет, чтобы на долгие годы связать свою судьбу с академиком А. Ф. Иоффе и навсегда — с физикой.
В том же 1921 году Николай Николаевич Семенов приглашает Ю. Б. Харитона и двух его друзей — А. Ф. Вальтера и В. Н. Кондратьева — на работу во вновь организованную им лабораторию в Ленинградском физико-техническом институте. Вот как Н. Н. Семенов рассказывает о первых годах существования этой лаборатории:
«Только что кончилась гражданская война. В стране голод, разруха. Нет приборов, нет оборудования. Казалось, для обыкновенного времени в таких условиях работать невозможно. Но все преодолевалось энтузиазмом, упорством и, я бы сказал, оптимизмом. Лаборатория помещалась в Политехническом институте. Здание Физико-технического института еще только строилось. В насквозь промерзшем помещении, где мороз в коридорах часто бывал больше, чем на улице, в плотно закупоренной комнате все было сделано руками Юлия Борисовича и его двух товарищей. Водопровод представлял собой следующее устройство: на деревянном помосте стоял большой эбонитовый бак от аккумулятора подводной лодки, в который заливалось ведер двадцать воды. Эту воду они таскали из колонки с улицы или из соседних зданий. Из бака шли трубки для охлаждения диффузионных насосов ко всяким холодильникам и другим приборам, нуждающимся в водоснабжении. Стояла небольшая печурка, которую нужно было ежедневно топить. Добывать дрова тоже было непросто. С 1923 начала поступать в небольшом количестве импортная аппаратура, а затем и отечественная. Было очень голодно, и пшенная каша была тогда, кажется, единственным блюдом. Деньги измерялись миллионами, а потом и миллиардами, но на них все равно ничего нельзя было купить. Для изготовления приборов был один механик и один стеклодув. Все приборы делались своими руками. С их помощью выполнялись первоклассные исследования, которые публиковались и становились достоянием мировой науки. Юлий Борисович выполнил тогда отличную работу по конденсации молекулярных пучков».