Мать завела такой порядок в нашем доме. Когда приходили отец и сын Шварцы, нам вменялось в обязанность осмотреть и починить их верхнюю одежду, пришить пуговицы, зашить карман и т. д., то же проделывалось и с пиджаком и Жениной форменной рубахой». Варвара Васильевна Соловьева прокомментировала это место воспоминаний старшей сестры следующим образом: «Все это несколько преувеличено. Лев Борисович был красивым элегантным мужчиной, следящим за своей внешностью ревностно. А вот у Жени прорехи действительно случались».
Сам же Женя в ту пору ощущал себя несколько иначе. «К этому времени, — писал он, — стала развиваться моя замкнутость, очень мало заметная посторонним, да и самым близким людям… Но самое главное скрывалось за такой стеной, которую я только сейчас учусь разрушать. Казалось, что я весь был как на ладони. Да и в самом деле — я высказывал и выбалтывал все, что мог, но была граница, за которую переступить я не умел. Я успел отдалиться от мамы, которой недавно ещё рассказывал все, но никто не занял её места. (…) Я знал и уже примирился с тем, что лишен музыкального слуха. У меня был ужасный почерк. Я худо рисовал. Я не мог играть в лапту, ударить по мячу палкой мне никогда не удавалось. Я не мог играть в чижика. Зато игры без правил, которые выдумывались тут же, — в разбойников, в японскую войну, в моряков играл я наравне со всеми. (…) Все перечисленные недостатки меня не огорчали, а злили. Я считал игры, требующие ловкости, дурацкими. Мой почерк не смущал меня. Да, я рисовал плохо, но с наслаждением, иногда целый вечер рисовал корабли, морские сражения, купающихся людей, солдат, сражающихся с японцами, и это было часто не менее интересно, чем читать. Только отсутствие музыкального слуха все больше и больше огорчало меня. Я любил музыку все безнадежнее и сильнее, и глядел на людей, поющих правильно, как на волшебников».
В Майкопе к Жене пришла первая любовь. Впервые он увидел Милочку вскоре после переезда их семьи сюда.
— Это событие произошло в поле, между городским садом и больницей. Перейдя калитку со ступеньками, мы прошли чуть вправо и уселись в траве на лужайке. Недалеко от нас возле детской колясочки увидели мы худенькую даму в черном, с исплаканным лицом. В детской коляске сидела большая девочка, лет двух. А недалеко собирала цветы её четырехлетняя сестра такой красоты, что я заметил это ещё до того, как мама, грустно и задумчиво качая головой, сказала: «Подумать только, что за красавица». Вьющиеся волосы её сияли, как нимб, глаза, большие, серо-голубые, глядели строго — вот какой увидел я впервые Милочку Крачковскую, сыгравшую столь непомерно огромную роль в моей жизни. Мама познакомилась с печальной дамой. Слушая разговор старших, я узнал, что девочку в коляске зовут Гоня, что у неё детский паралич, что у Варвары Михайловны — так звали печальную даму — есть ещё два мальчика: Вася и Туся, а муж был учителем в реальном училище и недавно умер. Послушав старших, я пошел с Милочкой, молчаливой, но доброжелательной, собирать цветы. Я тогда ещё не умел влюбляться, но Милочка мне понравилась и запомнилась… Хватит ли у меня храбрости рассказать, как сильно я любил эту девочку, когда пришло время?
Думается, что сумел. Поэтому вновь предоставляю слово самому Шварцу: «При каждой встрече с Милочкой я любовался на неё с таким благоговением и робостью, что подумать не смел заговорить с нею или хотя бы поздороваться… Однажды мы, гуляя, встретили все семейство Крачковских. Старшие разговорились, а я не мог сказать ни слова Милочке. А она и не думала обо мне, она сидела, строгая, размышляла о чем-то своем, глядела прямо перед собою своими огромными серо-голубыми глазами. Её каштановые волосы сияли, словно ореол над прямым лбом, две косы лежали на спине. Сколько раз, сколько лет все это меня восхищало и мучило. И до сих пор снится во сне…». А зимой, когда Женя учился во втором классе, т. е. в 11 лет, случилось событие, после которого он понял, что теперь он уже «умеет влюбляться». «А теперь я должен рассказать нечто, до сих пор таинственное для меня. Никогда в жизни я больше не переживал ничего подобного… Я шел из училища и встретил Милочку. Обычно я поглядывал на неё украдкой, а она и вовсе не смотрела на меня. Но тут я нечаянно взглянул прямо в её прекрасные, серо-голубые глаза. Мы встретились взглядами. И мне почудилось, что и она остановилась на миг, точно в испуге. И глаза Милочки, точно я поглядел на солнце, остались в моих глазах. Я видел её глаза, глядя на снег, на белые стены домов. Несколько лет спустя я спросил Милочку, помнит ли она эту встречу и пережила ли она что-нибудь подобное тому потрясению, которое я испытал. Она сказала, что не помнит ничего похожего. Причастие, разлившееся теплом по всем жилочкам, и этот мягкий, но сильный удар, глаза, отпечатавшиеся в моих, — вот чего я не переживал больше никогда в жизни».