В старости он начал диктовать свою автобиографию, которую назвал многозначительно: «Гражданство Адольфа Льюисона». Она так и не была опубликована, и это интересный, а в чем-то и озадачивающий документ. Он упоминает о своей женитьбе на Эмме Кан из Нью-Йорка в 1878 г., но больше никогда не называет ее по имени. Далее следует несколько упоминаний о ней — всегда как о «моей жене» или «миссис Льюисон». Во время свадебного путешествия он взял ее с собой в Англию на борту теплохода «Россия». Она жаловалась на то, что их каюта находилась рядом с угольными мусоропроводами, но с этим ничего нельзя было поделать. Кроме того, для Адольфа это была деловая поездка, и он писал: «Мы не всегда могли быть вместе, так как в Лондоне я должен был находиться в офисе, в то время как моя жена отправлялась осматривать достопримечательности». Он добавлял: «Я полагаю, что, как правило, необходимость заниматься делами во время путешествия, особенно свадебного, считается тяжелым испытанием; но при правильном настрое бизнес с его интересными контактами не только является постоянным образованием, но и превращается в великолепное времяпрепровождение». После этого жена Адольфа полностью исчезает со страниц книги.
Остальная часть книги посвящена многочисленным успехам Адольфа в медной промышленности. Он не упоминает о смерти своей жены в 1916 году. Он не упоминает ни о пяти детях, которых она ему родила, ни о внуках. Похоже, что в начале жизни он был человеком, поглощенным самим собой.
Но его сын Сэм всегда был рядом с ним и в последние годы жизни Адольфа, похоже, был единственным, кто по-настоящему любил его. Сэм был остроумным, умным и обаятельным человеком. Но даже с Сэмом Адольф был отстраненным и замкнутым, слишком замкнутым в своем личном горе и одиночестве, чтобы быть отцом. Когда Сэм женился на Маргарет Селигман, он привел свою молодую невесту жить в дом отца. У них была своя квартира на верхнем этаже, но вечернюю трапезу они всегда принимали у старого джентльмена. Там родились и выросли их четыре дочери.
Одна из внучек, Джоан Льюисон Саймон, написала автобиографический роман «Портрет отца», в котором она резко отзывается и об отце, и о деде, последний из которых, по ее словам, похож на «черепаху, стоящую на задних лапах».
Маленькие девочки ужинали с няней и гувернанткой наверху, и каждый вечер ровно в три минуты шестого, когда дворецкий убирал сервировочные тарелки, они слышали скрип и скрежет поднимающегося лифта. Затем с лязгом открывались и закрывались ворота, и шаги деда шаркали по толстому ковру в сторону столовой. Слуги напрягались и предостерегающе смотрели на девочек. «Лучшие манеры!» — шипела гувернантка, когда дедушка проходил во главу стола и доставал из жилетного кармана маленькую черную книжку. Затем он начал читать им из книги с густым акцентом, который они не могли понять. Девушки и слуги сидели в оцепенелом молчании, пока он не закончил этот ритуал. Затем он слегка кланялся, поворачивался и уходил.
Девочки восприняли это как некое благословение. Только спустя годы они узнали, что черная книга была его обручальной книгой. Каждый вечер он читал им список своих встреч на неделю.
Джоан Саймон вспоминает, как в восемнадцать лет она жила в доме на Пятой авеню и «сидела внизу, нервно ожидая вечернего свидания, на жестком деревянном стуле, придвинутом к длинному официальному столу, который в клубе был бы уставлен журналами», и услышала, к своему «ужасу», звук открывающегося лифта. Это был ее дед, он вошел в комнату и сел в другое жесткое кресло — близнец ее кресла — на расстоянии одного стола от нее, чтобы дождаться шофера, который должен был заехать за ним на ужин. Так они и сидели, «два жильца одного дома в течение восемнадцати лет», и не могли найти, что сказать друг другу. Наконец они заговорили о погоде, а потом «отшатнулись в молчании».
Еще труднее было Маргарет Селигман Льюисон, красивой и умной женщине. Джоан Саймон рассказывала о том, как неловко чувствовала себя ее мать в доме во время больших новогодних вечеринок, на которых она официально была хозяйкой, но на самом деле таковой не являлась. На девяностом году жизни — последнем — Адольф Льюисон пел и танцевал на своей новогодней вечеринке до трех часов ночи.
Неутешительный размер его наследства стал причиной многих горьких сцен. Его наследники, которые в 1930 году рассчитывали разделить между собой тридцать миллионов долларов, через восемь лет обнаружили только три миллиона. (Сегодня его потомки с некоторым сожалением говорят, что в свое время его состояние оценивалось в двести миллионов). Хотя он оставил, помимо прочего, бесценную коллекцию картин, две его внучки поссорились из-за владения телефонной стойкой в Гранд-Рапидсе.