Джозеф Луис Барроу родился в штате Алабама 13 мая 1914 года. У его отца — рабочего на хлопковых плантациях — было пятеро детей, из которых Джо самый младший. Когда будущему боксёру исполнилось пять лет, его семья перебралась в Детройт. Отец к этому времени уже умер. Матери, старшим братьям и сёстрам приходилось браться за любую тяжёлую работу, не требовавшую квалификации.
Джо с малых лет старался помочь семье. Он бегал по разным поручениям, продавал газеты, а в 12 лет получил «выгодное» место разносчика льда с «окладом» один доллар в неделю. Вдова Барроу мечтала обучить своих детей какой-либо специальности, дать им хотя бы минимальное образование. 14-летний Джо стал посещать вечернюю торговую школу. Учился он очень старательно. Один из товарищей по школе втянул его в занятия боксом. В тренировочном зале, обычно добродушный и вялый, Джозеф Барроу резко менялся. Под ударами, которых не жалели для новичка более подвижные и опытные партнёры, Джо был спокоен и предельно собран. Когда наступал удобный момент (а он, как никто, умел его выбрать), следовал молниеносный удар — и, как правило, конец спарринга.
Эти черты, сразу же замеченные его первым тренером Жоржем Моодом, будущий чемпион сохранил и во всей своей дальнейшей многолетней карьере. Невозмутимое спокойствие, чрезвычайная невосприимчивость к ударам, молниеносная реакция и сильнейшие парализующие удары — всё это отличало Джо Луиса. Кроме того, у него была исключительно крепкая нервная система. Например, 12-часовой сон Джо считал нормальным, он мог спать и 15 часов подряд, а полностью Джо «пробуждался» только в бою. Умение экономить и расходовать нервную энергию очень помогало ему в длительной карьере профессионала.
Жорж Моод познакомил своего молодого воспитанника с чёрным адвокатом из Детройта Джоном Роксборо — страстным любителем бокса. По его протекции Джо получил место на заводе Форда с огромной, как ему тогда казалось, зарплатой — 25 долларов в неделю.
Получив средства к существованию, Джо занялся интенсивной тренировкой и в 1931 году дебютировал в любительских соревнованиях, приняв для ринга фамилию, составленную из своих имён, — Джо Луис. Его любительская карьера длилась четыре года. Он провёл 54 боя, победив в 50 (43 раза нокаутом), а проиграл лишь четверым — Джонни Миллеру, Максу Мареку, Клинтону Бриджесу и Стэнли Эвансу, у которого позднее выиграл в реваншной встрече. Последний бой как любитель он провёл 12 июня 1934 года, нокаутировав в первом же раунде Джо Бауэра.
Джон Роксборо, видя успехи Луиса, уговорил его перейти в профессионалы. Их поддержал юрист из Чикаго Джулиан Блэк. Тренером был приглашён Джек Блэкберн — известный в прошлом боксёр. Эта тройка негров и задалась целью сделать Джо Луиса чемпионом — наследником славы Джека Джонсона.
И если Джо Луис всё же достиг желанной цели, то в этом ему помогли следующие обстоятельства: во-первых, расовая сегрегация в боксёрских кругах США к тому времени несколько смягчилась; во-вторых, со времени ухода Джина Туннея по-настоящему классного чемпиона мира в тяжёлом весе не появлялось; в-третьих, Джо Луис был действительно чрезвычайно редкостным по таланту и трудоспособности боксёром; в-четвёртых, Джон Роксборо и Джулиан Блэк вложили в это дело большие капиталы.
Джек Блэкберн был опытным тренером и все свои богатые знания и опыт передал Джо Луису. С первых же занятий он стал вырабатывать у Джо мягкость и координацию движений, учил его беспрерывному балансированию телом во время боя, благодаря чему в Луиса было очень трудно попасть, а если удар и достигал цели, то боксёр умел амортизировать его силу минимальными отклонениями головы или туловища.
Как профессионал Джо Луис впервые выступил в Чикаго 4 июля 1934 года и уже в первом раунде нокаутировал Джека Крэкси. Затем он выиграл подряд 47 боёв, и лишь четырём его противникам удалось избежать нокаута. Конечно, первые противники Луиса не блистали особым мастерством, но и до лучших он добрался довольно быстро! Уже десятым его противником был Станислав Пореда, который за два года до этого победил самого Карнеру. С Луисом же он не сумел продержаться и одного раунда. Среди побеждённых оказались и такие хорошие для того времени боксёры, как Лео Рамож (двукратно нокаутирован), Патси Перрони, Нат Браун. Росла боксёрская репутация Луиса, росли и его заработки. За свой первый бой он получил 50 долларов, а за встречу с Лео Раможем уже свыше 2 тысяч. Такие доходы и не снились Джо, когда-то разносившему лёд за доллар в неделю.
В Нью-Йорке Джо Луис дебютировал 25 июня 1935 года. Он сразу завоевал громадный успех, нокаутировав в шестом раунде итальянца Примо Карнеру. В присутствии 70 тысяч зрителей Луис беспрерывно бомбардировал итальянского великана, «не замечая» его роста, веса и силы и со знанием дела используя его медлительность. Три раза экс-чемпион мира лежал на полу до «девяти».