В тридцать четвертом Мосли активно противостояли лишь коммунисты, но их усилий явно было недостаточно. Несмотря на беззаконные выходки чернорубашечников, несмотря на улучшающуюся экономическую обстановку, движение фашистов, получавшее помощь как внутри страны, так и вне её, продолжало набирать силу. В первой половине тридцать четвёртого года регулярно проводились митинги БСФ, Мосли выступал с речами, большим тиражом печатались газеты "Блэкшет" и "Фэшист Уик", содержащие фашистские агитационные материалы. Продолжала расти численность региональных отделений Союза, активно пропагандировался образ врага в лице коммунистов, воспевались успехи стран, в которых фашистское движение одержало победу. Штаб-квартиру фашистов перенесли в Лондон, в Уайтлендский педагогический институт. Поговаривали о скором приходе Освальда к власти, оставался лишь один вопрос - каким путём?
Впрочем, чаяниям честолюбивого лидера не суждено было сбыться. И причиной этого стал инцидент в зале Олимпия. Седьмого июня около тысячи чернорубашечников маршем проследовали от штаб-квартиры Союза к залу, где планировалось выступление Мосли. Он много говорил о победе в Первой Мировой войне, взывал к патриотизму слушателей, не учитывая того, что уже несколько лет в среде британской молодежи зрели антимилитаристские настроения. Всякий раз, когда его перебивали выкрикиваниями "Долой Мосли!", "Фашизм - это голод и война!", в дело вступали чернорубашечники. Они демонстративно избивали кричавших (чаще всего ими оказывались коммунисты). После того, как его перебивали, Мосли делал длинный паузы, обстановка внутри зала накалялась.
Впоследствии, секретарь Стэнли Болдуина, Джеффри Ллойд, так охарактеризовал манеру Мосли: "В английской политической практике издавна допускаются добродушная перебранка и даже резкие замечания во время собрания, и эту практику считают для себя оскорбительной только неопытные и чересчур самонадеянные ораторы, полагающие, что каждое их слово должно выслушиваться в благоговейном молчании".
Чернорубашечники непросто били осмелившихся нарушить тишину, они калечили людей, не гнушались добивать упавших и прекративших оказывать сопротивление. Вмешивались и женщины-фашисты, проявлявшие не меньшую жестокость. Самым загадочным в творившемся бесчинстве было то, что констебли, дежурившие у "Олимпии" безразлично наблюдали за происходящим, не смея вмешиваться. Позже, один из них проговорился, что им строго-настрого запретили оказывать фашистам противодействие.
После "Олимпии" Освальд написал статьи в своих газетах, где в восторженной манере отозвался о прошедшем мероприятии, утверждал, что британцы осознали и приняли как данность восхождение новой политической силы - БСФ. Уже не молодой, но всё такой же неопытный, падкий до лести и честолюбивый Мосли так до конца и не осознал, к каким последствиям привели действия его молодчиков во время митинга.
Независимые газеты кричали о жестокости и безжалостности чернорубашечников, их лидера поносили. Общественность, до того настроенная к БСФ скорее благожелательно, резко переменила своё мнение. На последующих митингах и сходках, устраиваемых Мосли, число его противников в разы превосходило число сторонников. Подобно громадной волне, возникающей вовремя обманчивого штиля, восстали антифашистские силы Британии. Безотносительно политической ориентации, всех их объединяла ненависть к БСФ. Мосли закидывали гнилыми фруктами, чернорубашечников гнали из мелких и крупных городов, даже рьяные сторонники движения стали покидать Союз. БСФ дискредитировал сам себя, в результате чего наступил период упадка фашистского движения.
Лорд Ротермир понял, что не сумеет использовать Мосли в своих целях и сделать фашистов придатком партии тори, поэтому он отвернулся от БСФ. Перестали выделять деньги промышленные предприятия и крупные компании внутри страны. Оставалась надежда на иностранные источники. Но и здесь Освальда ожидало разочарование - советник Муссолини по внешнеполитическим связям открыто заявил, что считает дальнейшее финансирование БСФ нецелесообразным, поскольку после инцидента в "Олимпии" движение себя полностью дискредитировало. Лидер итальянских фашистов частично прислушался к этому совету и урезал выделяемые суммы.
Даже лейбористы, до того терпимо относившиеся к движению Мосли и призывавшие не преувеличивать угрозы, исходившей от него, направили целую делегацию в Хоум-офис, департамент Британии в том числе несущий ответственность за безопасность, которая выразила обеспокоенность происшествием в "Олимпии", намекнула на бездействие полиции во время избиения невинных людей. Прозвучал даже намек на возможность формирования охранных отрядов партии лейбористов, которые насчитывали более 4 миллионов сторонников, для противодействия фашистам. На фоне недавнего нападения на один из региональных центров БСФ противников Мосли, нанесших существенный урон, слова лейбористов могли быть восприняты как угроза. Если предположить, что бездействие полиции действительно было следствием приказа сверху с целью показать методы, которыми фашисты намеревались захватить власть и таким образом показать истинную сущность Союза, то расчёт оправдался.
Впрочем, параллельно с вспышкой антипатии, звучали и слабые голоса взывающие если не к поддержке фашистов, то к справедливому отношению к Союзу Мосли. Так ряд газет осуждал действия антифашиство во время выступления Мосли, носившие явно провокационный характер. Звучали обвинения и в адрес коммунистических организаций. Тем не менее, движению Мосли это не помогло.
Начался массовый исход рядовых членов движения. Стремительно росшее в начале тридцать четвертого года, организация Мосли была близка к тому, чтобы прекратить своё существование к концу того же года. Пришлось урезать тиражи фашистских газет, сворачивать ряд региональных отделений. Лидеры БСФ вынуждены были начать сбор средств внутри организации, что вызвало вторую волну сокращения численности Союза.
Улучшение внутриэкономического состояния сыграло определённую роль. Впервые за долгие годы уровень безработицы стал снижаться, Великобритания стала уверенно выбираться из кризиса. На фоне этого популистские лозунги Мосли о скором крушении экономики Британии, необходимости лишения парламента его полномочий казались не более чем уловкой.
К началу тридцать пятого года БСФ представлял собой политически несостоятельную организацию. Лишившись возможности непарламентского захвата власти, Мосли уже не мог переориентироваться и подготовиться к грядущим выборам. Миновав зенит, Союз слишком быстро катился к горизонту.
Однако ситуация в мире сильно переменилась со времени создания БСФ. Национал-социалисты во главе с Гитлером превращались в серьезную политическую силу не только внутри Германии, но и на внешнеполитической арене. В них Освальд и усмотрел основную возможность возрождения своей организации. В конце тридцать четвертого и начале тридцать пятого года Мосли вернулся к антисемитской риторике, от которой всего год назад был вынужден отказаться. Немецкие газеты, некогда отзывавшиеся о БСФ в пренебрежительном тоне, стали отмечать положительные стороны партии Мосли. Союз привлёк внимание немцев. Этого Мосли и добивался. Он старался найти подход к Гитлеру, несколько раз пытался назначить встречу с фюрером, дабы заручиться поддержкой германского народа. Но попытки его, как правило, заканчивались неудачей. Тем не менее, он продолжал стараться: в выступлениях утверждал, что считает Версальскую систему несправедливой, говорил о необходимости её пересмотра, угрозе на востоке, необходимости сближения Германии и Англии.
Интересно отметить, что встреча Мосли и члена НСДАП фон Шаппуиса еще во времена расцвета БСФ, в июне тридцать четвертого, не произвела на последнего должного впечатления. Освальду он дал довольно нелицеприятную оценку, назвав склонным к позёрству и преувеличению, рекомендовал делать ставки на других деятелей фашистского движения Англии.