Материально семья деда Уильяма Дюбуа была достаточно хорошо обеспечена, но Александр Дюбуа был негром со всеми вытекающими отсюда последствиями. «Я видел деда лишь однажды, — вспоминал Уильям Дюбуа. — Мне тогда было пятнадцать, ему семьдесят семь лет. Он всегда держал голову высоко, был горд, имел мало друзей Он не был «негр» — он был человек! И все-таки обстоятельства были сильнее его. В то время, как и теперь, цветной мог либо иметь друзей только среди цветных, либо не иметь их вовсе; он мог жить либо в мире цветных, либо в одиночестве».
В этих словах Дюбуа ярко отображена суровая действительность «свободных» северных штатов. Даже образованный и состоятельный негр был парнем на Севере, круг его знакомств и интересов неизбежно должен был замыкаться узким миром цветных независимо, был ли он негром или мулатом, основанием для общественного остракизма служило даже отдаленное родство с неграми.
Александр Дюбуа был достаточно образованным по тому времени и начитанным человеком, он прошел большую жизненную школу, был энергичен, трудолюбив, требователен к себе и окружающим, обладал большим чувством человеческого достоинства. Таким людям было особенно тяжело, когда они сталкивались с расовой дискриминацией. Но избежать ее было невозможно, если человек не хотел обречь себя на полную изоляцию от окружающих.
Был, конечно, и другой путь — борьба против расовой дискриминации. Александр Дюбуа был молчаливым, ожесточившимся и суровым человеком. Он не относился к числу тех, кто быстро сближается с окружающими, и ему нелегко было стать на путь борьбы против дискриминации, так как для этого надо было войти в контакт с другими единомышленниками. Но нашлись люди, которые за внешней суровостью разглядели в Александре Дюбуа сильный и честный характер, увидели в нем готовность активно бороться за интересы негритянского народа. Возвратившись в США, дед Уильяма Дюбуа принял участие в борьбе против дискриминации негров.
Уильям Дюбуа очень мало знал о своем отце Элфриде Дюбуа. Ему было только известно, что он приехал с дедом Александром с Гаити, было неизвестно, где и как он учился, чем занимался с 18 до 35 лет. На фотографии, подаренной Элфридом матери Уильяма Дюбуа, он был сфотографирован в форме солдата федеральной армии периода гражданской войны. Но служил он в негритянском или белом полку, и как долго, тоже было неизвестно.
Элфрид был вспыльчивый и неуравновешенный человек. Дюбуа писал о нем: «Мой отец согнулся пред волей своего родителя, но не сломился. А лучше бы сломился. Он уступал, потом вспыхивал, потом просил прощения, не помня за что. Отец стал любимцем, которого держали в ежовых рукавицах, и он, протестуя, убегал из дома, где-то бродяжничал, любил женщин и в конце концов женился на моей темнокожей матери.
В 1867 году отец приехал в Грейт-Баррингтон. Он был невысок, хорошо сложен, с приятным смуглым лицом, едва тронутым солнцем. Лишь волнистые волосы указывали на его родство с Африкой По натуре он был, как мне кажется, мечтателем — романтичным, ленивым, добрым человеком, на которого нельзя положиться. В нем было что-то от поэта, у него была натура искателя приключений, бродяги. Таким его сделала жизнь, его окружавшая, и жизнь эта дала ему слишком мало».
По укоренившейся традиции к мулатам, особенно светлокожим, многие негры относились с предубеждением. Объяснялось это тем, что, не имея ярко выраженных внешних признаков негритянской расы, они зачастую скрывали свое происхождение и с пренебрежением относились к своим чернокожим братьям.
По этой причине или потому, что Элфрид Дюбуа был отнюдь не завидным женихом: у него не было работы и ни гроша в кармане, во всяком случае, семейство Бургхардтов невзлюбило мужа Мэри Бургхардт. Элфрид и Мэри сняли помещение в одном из домов Грейт-Баррингтона, где и родился Уильям Дюбуа. После рождения Уильяма, ставшего предметом восхищения всей родни, взаимоотношения молодой семьи с родственниками жены несколько нормализировались, но не настолько, чтобы Элфрид смог войти в семью черных Бургхардтов.
Со всей настоятельностью возникал вопрос, где и на какие средства будет жить молодая семья. Элфрид после долгих колебаний направился в штат Коннектикут, намереваясь там обосноваться. Тем временем Уильям с матерью жили в доме деда. Через несколько месяцев Элфрид написал письмо, приглашая жену приехать в небольшой городок Нью-Милфорд, находившийся на расстоянии сорока миль от Грейт-Баррингтона, вниз по реке Хусатоник.
Мэри, редко покидавшая Грейт-Баррингтон, не рискнула принять предложение мужа. Очевидно, важную роль сыграло и давление родителей, все более ожесточавшихся против Элфрида. Так разыгралась старая как мир трагедия: материальные трудности и антипатии родственников привели к распаду семьи. «Все кончилось тем, — вспоминал Дюбуа, — что мать не поехала к нему, а отец так и не вернулся в Грейт-Баррингтон. Возможно, он писал, но письма его перехватывали. Я ни разу не видел своего отца и не знаю, где и когда он умер и где похоронен».
У любой нации, у любого народа в трудном положении оказывается женщина, оставшаяся с ребенком на руках и в столь двусмысленном положении. Очень трудно пришлось и матери Уильяма Дюбуа, и только поддержка братьев, сестер, родных и близких Мэри давали ей силы растить сына и переносить все невзгоды.
Мать и сын жили просто, скромно. Уильям, вспоминая детство, отмечал, что ему не приходилось голодать, донашивать чужие обноски, чувствовать себя отщепенцем среди товарищей по детским играм и по школе. И только много лет спустя, на склоне лет Дюбуа писал: «Вспоминая прошлое, я теперь понимаю, что наша маленькая семья, мать и я, нередко, должно быть, оказывалась на грани нищеты».
До пяти лет Уильям жил с матерью у деда Александра, и это, пожалуй, были более или менее обеспеченные годы его существования. После смерти деда Мэри и Уильям продолжали жить в Грейт Баррингтоне, снимая помещение в различных местах города.
Семейная драма, вечные заботы сделали свое дело — скоро мать Уильяма разбил паралич, от которого она не оправилась до самой смерти. Мэри прихрамывала на левую ногу, и левая рука у нее была сухая. Мать и сын всегда ходили, держась за руки.
Шести лет Дюбуа стал посещать школу. Выдающиеся способности, тяга к учебе, поддержка родных и близких — все это позволило Дюбуа успешно пройти десятилетний курс обучения и первым из Бургхардтов получить аттестат об окончании средней школы. Десять месяцев в году, пять раз в неделю, с девяти утра до полудня и после перерыва с часу до четырех продолжались занятия в школе. Вскоре Дюбуа благодаря природным способностям и трудолюбию стал одним из лучших учеников и прочно завоевал расположение своей первой учительницы — строгой и непреклонной, но доброй и справедливой мисс Кросс.
Невелик был круг предметов, изучавшихся учениками: чтение, письмо, орфография, грамматика, арифметика, география и история. Конечно, в жизни школы важную роль играла религия. Каждое утро ученики выстраивались на молитву и пели. В школьном хоре выделялся чистый голос Уильяма Дюбуа.
Дюбуа обладал не только хорошим голосом, но и безусловными музыкальными способностями, присущими многим неграм. А касаясь голоса Дюбуа, надо отметить, что он сохранил его до последних дней своей жизни. Вспоминается один из последних приездов Дюбуа в Москву. Дюбуа вместе с Полем Робсоном выступал по Московскому телевидению. Рассказав телезрителям о борьбе негров США за равноправие, о негритянской проблеме и Африке, об актуальных задачах борьбы за мир и дружбу между народами, Робсон и Дюбуа спели одну из старинных негритянских народных песен.
Инициатором этого импровизированного концерта был Поль Добсон. Дюбуа не без смущения принял приглашение великого цевца. Вокальные данные Дюбуа выглядели более чем скромными на фоне неподражаемого голоса Робсона, которому, чувствовалось, было тесно в узких рамках телестудии. И тем не менее негромкий, но удивительно чистый голос Дюбуа, которому было тогда более 90 лет, невольно обращал на себя внимание. Выразительный, могучий бас Робсона перенес телезрителей ко временам далекого негритянского рабства, и был какой-то особенно глубокий смысл в том, что вместе с Робсоном пел выдающийся ученый, человек с мировым именем, который всю свою долгую жизнь посвятил борьбе против рабства народов во всех его проявлениях.