Уволенный из армии за свои сексуальные наклонности, Эпстайн вернулся в Ливерпуль и стал управляющим магазина в Хойлейке, который принадлежал его отцу. Это дало ему возможность проявить чутье предпринимателя, в чем у него действительно был талант. Эпстайн со вкусом украсил витрины модной тогда мебелью в «скандинавском» стиле, и в течение года его доходы превысили доходы главного магазина фирмы. Но если родители радовались такому неожиданному повороту дел, то Брайана это не радовало. Он расстроился, впал в депрессию, ушел с работы и через несколько месяцев поступил в Королевскую академию драматического искусства. Это приоткрыло еще одну сторону его таланта. На вступительных экзаменах Брайан читал отрывки из «Макбета» Шекспира и «Доверенного лица» Элиота. Экзамен прошел успешно, и ему предоставили место в престижной актерской школе. Он был хорошим актером, но чересчур эмоциональным (выступления заканчивались для него судорожными рыданиями). По его словам, директор школы Джон Фернольд, который воспитал такие таланты, как Альберт Финни и Питер О’Тул, «глубоко верил в меня».
Но все дело в том, что Эпстайн мало верил сам в себя. Он не мог заниматься чем-нибудь долго и всерьез и впадал в депрессию. Будучи не способным легко заводить друзей, он вскоре заявил, что презирает актеров, их жизнь и «ложную дружбу», хотя актеры никогда и не приглашали его в свой круг. Его мать никогда не одобряла того, что он уходил от ее материнской опеки, и в результате ее настойчивых просьб Брайан, проучившись в актерской школе три семестра, вернулся домой, в Ливерпуль. Там он снова стал работать в отцовской фирме, на этот раз в качестве заведующего отделом грампластинок фирмы NEMS. Это была старая фирма (Джим Маккартни вспоминал, что играл на пианино этой фирмы еще во время первой мировой войны), которую в качестве недвижимости приобрел еще дед Брайана, иммигрант из Польши.
Вернувшись к коммерческой деятельности, Эпстайн вновь проявил свои предпринимательские способности. Когда он начинал, в штате у него было два человека, а спустя два года у него работали уже тридцать человек, включая молодого Питера Брауна, который уволился из универмага «Льюис». Благодаря внимательному отношению к вкусам покупателей, введению новой системы учета, при которой можно было дополнительно заказывать пластинки до того, как продан тираж, а также благодаря обещаниям, которые, как правило, выполнялись, о том, что магазин может обеспечить покупателя любой выпущенной пластинкой, магазин Эпcтайна превратился в самый преуспевающий магазин грампластинок в северо-западной Англии. Брайан много работал, гордился своими успехами и, казалось, нашел работу, которая его удовлетворяла.
Вне работы все было иначе. Все, кто знал его, вспоминают о нем как о симпатичном, обаятельном, добром человеке, у которого, однако, было второе лицо, проявлявшееся довольно часто. Он так и оставался таким же неуравновешенным и одиноким, каким и был всегда. Брайан часто здорово выпивал, слишком чувствительно относился к тому, что он еврей, во всех своих бедах обвинял антисемитов, которые, по его мнению, окружали его. Он был подвержен неожиданным эмоциональным взрывам, которые сменялись длительными периодами ледяного молчания. Малейшая обида, реальная или воображаемая, могла вызвать бурю грязных оскорблений с его стороны. К неуравновешенной психике добавлялись его сексуальные наклонности. Гомосексуализм преследовался законом, и Эпстайн, заклейменный и гонимый, был обречен тайком получать удовольствие лишь там, где мог найти.
Во время учебы в Королевской академии драматического искусства Брайана арестовали за приставание к мужчинам в общественном туалете. Семейный адвокат Эпстайнов Рекс Мейкин примчался в Лондон, и только благодаря его вмешательству дело не попало в суд. Вскоре снова понадобилась помощь Мейкина. Уже в Ливерпуле Эпстайн частенько посещал общественный туалет в Уэст-Дерби, где человек с определенными склонностями мог найти анонимного платного партнера. Однажды вечером Брайан совершил ошибку в выборе партнера, его избили, украли часы и бумажник. Вскоре после этого, когда побитый Эпстайн находился дома, окруженный заботами матери, грабитель позвонил по телефону и потребовал еще денег. Мейкин настоял на том, чтобы позвонить в полицию, и с помощью Эпстайна незадачливый шантажист был обнаружен и арестован.
Этот случай только усилил его чувство одиночества и отверженности. Однако он не прекратил свою активность в этом плане и продолжал посещать злачные места Ливерпуля, отыскивая тех, кого привлекал его кошелек и новая темно-бордовая машина марки «Хиллман Калифорния». И вот теперь, в начале ноября, Брайан Эпстайн стоял в зале клуба «Каверн» и, как он сам впоследствии признался, не мог оторвать глаз от «Битлз».
Как считал сам Эпстайн, он впервые решил взглянуть на этот ансамбль после того, как в его магазин зашел симпатичный юноша по имени Реймонд Джонс. Он был одет в узкие джинсы и черную кожаную куртку, и Эпстайну самому захотелось обслужить его. Джонс спросил пластинку с песней «My Bonnie». «А кто исполняет?» - спросил Эпстайн. «Битлз», - услышал он в ответ. Эпстайн честно признался, что никогда не слышал о них. Когда спустя несколько дней в магазин зашли две девушки и спросили ту же пластинку, Эпстайн, верный своему принципу «удовлетворять вкусы всех клиентов», начал наводить справки. Он выяснил, что на пластинке поет Тони Шеридан, пластинку крутят в клубе «Каверн», который находится всего в двухстах ярдах от его магазина (Стюарт Сатклифф прислал пластинку Вулеру), а сами «Битлз» являются ведущей группой клуба. Будучи хорошим бизнесменом, он решил пойти и посмотреть, вокруг кого создается такая, хотя и не слишком сильная, шумиха.