Иоганн вырос в Стелленбосе, где его родители десятилетиями жили в одном и том же доме на улице Тибо, 13. Он и его младший брат Антоний учились в местной гимназии Пауля Рооса, параллельной государственной школе для мальчиков, а его сестра Ханнели, впоследствии известная певица, посещала соседнюю школу для девочек в Блумхофе.
Йоханн начал изучать коммерцию и право в Стелленбосском университете, но не закончил его. Увлекаясь спортом, он играл в крикет и несколько раз выступал за команду "Б" Западной провинции во время учебы в университете, пока не был вынужден оставить игру из-за травмы колена. На том этапе идея работать на отца не привлекала Йоханна. Один из его преподавателей, политолог профессор Бен Вослоо, который впоследствии стал главой Корпорации по развитию малого бизнеса, напомнил ему старую зулусскую пословицу: "Под большим деревом ничего не растет".
Для получения степени ему нужно было сдать всего два предмета, и он был допущен к обоим экзаменам, но университет (который в 2004 году должен был присвоить ему почетную докторскую степень, что заставило его пошутить, что они чествуют бросившего учебу) настоял на том, чтобы он повторил оба предмета. В результате он прервал учебу и, по инициативе друга семьи Дэвида Рокфеллера, отправился в Нью-Йорк, чтобы развивать там свои деловые качества. После двух лет работы в Chase Manhattan Bank он перешел в инвестиционный банк Lazard Frères, где проработал три года. Там он, по его собственным словам, научился очень тяжело работать: четырнадцатичасовой рабочий день, шесть дней в неделю - "и, к своему удивлению, обнаружил, что мне это нравится".
Вернувшись в Южную Африку в 1979 году, он основал Rand Merchant Bank (RMB) и несколько лет работал в Йоханнесбурге, где возобновил связи со старыми друзьями из Стелленбоша, такими как Г. Т. Феррейра и Пол Харрис. Полученная Йоханном банковская лицензия со временем стала для них очень ценной.
Он все еще не хотел присоединяться к Рембрандту. Но в 1984 году возникла ситуация, которая ужасно расстроила семью Рупертов. Во время делового визита Иоганна в Лондон с друзьями они навестили отца в его обычном номере в Гросвенор-Хаус. Они застали Антона Руперта в возбужденном состоянии - "он был белым, как простыня". Он сказал им, что председатель совета директоров Rothmans сэр Роберт Крихтон-Браун только что сообщил ему, что в будущем его будут принимать в Rothmans только как акционера, а не как члена руководства.
Самонадеянное поведение Крихтона-Брауна, австралийца, ранее известного как Бобби Коэн, очевидно, стало следствием антиюжноафриканских настроений, усилившихся в 1980-х годах в результате кампании по борьбе с апартеидом. Именно кампания по введению санкций стала причиной того, что несколькими годами ранее Rembrandt продала половину своих акций Rothmans табачной компании Philip Morris, в сделке с которой участвовал Иоганн Руперт. В результате обеим компаниям стало принадлежать по 34 процента акций Rothmans. Мотивировалось это тем, что Rothmans работает в таких странах, как Малайзия, куда южноафриканцы вообще не допускаются.
Иоганн был возмущен таким отношением к своему 68-летнему отцу. Этот человек сказал моему отцу (а отец назначил его): "Вам здесь больше не рады, как члену руководства..." Я думал, что у моего отца случится сердечный приступ". Тогда младший Руперт решил, что пришло время ему присоединиться к Рембрандту.
Его дилемма заключалась в том, что он не хотел продавать своих коллег из RMB более крупному банку или оставлять их на милость конкурентов. У него было три друга, которым он мог полностью доверять, хотя они также были крупными конкурентами: ГТ Феррейра, Пол Харрис и Лори Диппенаар из Rand Consolidated Investments (RCI), которые долгое время не могли получить банковскую лицензию. По предложению Йоханна Rand Merchant Bank объединился с RCI. От слияния выиграли обе стороны: RCI наконец-то смогла получить банковскую лицензию, которая стала прелюдией к дальнейшему успеху группы финансовых услуг FirstRand, а Йоханн смог уехать в Стелленбош.
Поначалу Иоганн был назначен исполнительным директором Rembrandt. Он выдвинул всего два условия, на которых присоединился к группе. Первое заключалось в том, чтобы отец разрешил ему перевести все международные активы Rembrandt в отдельно зарегистрированную компанию за рубежом, что имело смысл ввиду растущей угрозы санкций, которые в 1986 году привели к отзыву кредитных средств Южной Африки со стороны Chase Manhattan и других банков. У него также были сомнения по поводу контроля над управлением международными активами.