Добившись передачи английских земель во Франции старшему сыну и уладив англо-французские разногласия, Изабелла, находившаяся в то время в Париже, могла вместе с ним возвращаться домой. Но она под разными предлогами тянула с отъездом, пока Эдуард II не принялся настаивать на ее немедленном возвращении. Тогда Изабелла дала ясно понять, что вернется в Англию лишь тогда, когда король отправит Диспенсеров в ссылку. В то время с Изабеллой стали сводить знакомство аристократы, высланные из Англии или просто недовольные английской действительностью и уехавшие из страны по собственному почину. Об этих знакомствах сообщали Эдуарду как посланные им во Францию люди, которым он поручал вернуть Изабеллу в Англию, так и кое-кто из окружения самой Изабеллы, кого она отсылала домой, ибо не могла более содержать в связи с отсутствием средств, не пополнявшихся Эдуардом. Правда, брат Карл II охотно платил по ее счетам, но затем разразился скандал, в котором оказалась замешана Изабелла при участии Роджера Мортимера.
Роджер Мортимер родился в 1287 году в весьма богатой семье, владевшей землями в Южной Англии, Мидленде, Ирландии, Уэльсе и в пограничных районах между Англией и Уэльсом. Когда в 1304 году умер отец, опека Роджера до его совершеннолетия по велению Эдуарда II была поручена Гавестону. Опека эта была исключительно выгодной, ибо весьма значительные доходы с его поместий опекун мог использовать для собственных нужд. В 1306 году, достигнув совершеннолетия, Роджер заплатил Гавестону за попечительство над ним 2500 марок (140000 фунтов по нынешним ценам в пересчете на стоимость серебра).
Когда Роджер достиг совершеннолетия и вступил во владение своими поместьями, Эдуард I произвел его в рыцари. В дальнейшем Мортимер принимал участие в коронации Эдуарда II, служил в Аквитании, участвовал в подавлении восстания в Уэльсе, два срока занимал должность верховного судьи в Ирландии, где вершил правосудие с таким же успехом, с каким миротворец может блюсти порядок в стране, где не существует законов.
В 1320 году Мортимер примкнул к баронам Уэльса, организовавшим вооруженный отпор Диспенсерам, стремившимся расширить в Уэльсе свои владения за счет угодий местных землевладельцев. Разумеется, Диспенсеров раздражало это сопротивление, к тому же Диспенсер-младший ненавидел Роджера Мортимера и считал, возможно, обязанностью (как при обычае кровной мести, бытующем у пуштунов) отомстить Роджеру за гибель деда, погибшего от руки сородича Мортимера в битве при Ившеме в 1265 году. Начавшаяся война, развязанная баронами, недовольными произволом Диспенсеров, длилась недолго: 16 марта 1322 года королевская армия разбила войско баронов в решающей битве при Боробридже. Но еще раньше, 23 января, Роджер и его дядя Роджер Мортимер Кирк попали в плен к королю в битве при Шрусбери. Их присудили к смерти, но им удалось избежать страшной участи многих других повстанцев, попавших в плен: казнь заменили пожизненным заключением в Тауэре.
В заключении Роджер пробыл недолго: подобно герою Джона Бьюкена, 1 августа 1323 года, воспользовавшись нерадивостью стражников, бежал из тюрьмы, на лодке переправился через Темзу, на купленной или украденной лошади добрался до Дувра, пересек на корабле Английский канал и появился при дворе Карла IV, который радушно его принял. Во Франции Роджер сошелся с людьми, изгнанными из Англии. Часть этих людей проводила время при дворе французского короля, а часть – при дворе графа Эно, владельца пограничной области с Фландрией. А вот дядя Роджера так и остался в Тауэре, где и умер в 1326 году, когда ему было семьдесят.
Пробыв в Париже около года, Роджер перебрался в Эно, где стал собирать войско и деньги для вторжения в Англию. Его поддерживал граф Эно, а из Англии поступали сведения от баронов, недовольных произволом Диспенсеров, уверявших, что, если Мортимер вторгнется в Англию, они поднимут мятеж и помогут ему. Изабелла, вероятно, впервые встретилась с Мортимером на похоронах престарелого графа Валуа, когда Мортимер приехал в Париж в свите графини Эно. И Мортимер, и Изабелла ненавидели своекорыстных Диспенсеров, и им было прямо-таки суждено встретиться, тем более что Мортимер постоянно поддерживал связь с английскими эмигрантами, недовольными правлением Эдуарда II, группировавшимися в Париже вокруг Изабеллы.
Отношения Изабеллы и Роджера не ограничивались общностью политических интересов, и самое позднее в начале 1326 года они стали любовниками. Если в ту пору для женатых мужчин иметь любовницу было нормой (добавим в оправдание Роджера, что к тому времени он был по меньшей мере три года разлучен с женой), то адюльтер для замужних дам считался подлинным преступлением, а уж для королевы и вовсе мог обернуться крайне нежелательными последствиями. Знала ли Изабелла о возможных опасностях, которые могли обрушиться на нее за супружескую неверность, точно неизвестно, но даже если и знала, Изабеллу можно понять: король уделял ей слишком мало супружеского внимания, предпочитая проводить время с Диспенсерами.