В июле 1936 г. 15-летний Гриншпан с польским паспортом и въездной визой в Германию, действующей до 1 апреля 1937 г., отправился в Брюссель к своему дяде Вольфу Гриншпану, намереваясь дожидаться визы на въезд в Палестину. В сентябре 1936 г. друзья Вольфа Гриншпана тайно переправили Гершеля во Францию к другому его дяде – Аврааму Гриншпану, который жил в Париже. Гершель прибыл в Париж уже больным. Состояние его здоровья усугублялось тщедушностью: рост составлял 1,54 м, а вес – 45 кг.
Как ортодоксальный иудей, Гриншпан в Париже регулярно посещал синагогу. В окружении дядиной семьи также преобладали евреи. Их основным языком был идиш, но они говорили по-немецки и по-французски. Изредка Гершель помогал дяде в работе, но постоянных занятий не имел. Он встречался с друзьями, часто ходил в кино и посещал притоны, где собирались гомосексуалисты: Гершель был человеком нетрадиционной сексуальной ориентации. Немецкий историк Ганс-Юрген Дёшер пришел к выводу, что Гриншпан и Рат были знакомы: они посещали одни и те же злачные места.
В течение двух лет Гриншпан безуспешно добивался вида на жительство во Франции. Так и не получив его, Гершель пожелал вернуться к родителям, сестре и брату в Германию. Однако начальник полиции Ганновера отказал Гриншпану, заявив, что его документы не в порядке (срок действия польского паспорта Гриншпана и немецкой визы истек). В августе 1938 г. Гриншпан получил распоряжение покинуть Францию, но дядя спрятал его в мансарде одного из парижских домов. Положение Гриншпана стало безвыходным: он не имел ни документов, ни работы, находился в розыске и был вынужден скрываться. Тем временем в Германии семья Гриншпана (члены которой оставались гражданами Польши, хотя и проживали в Германии более 20 лет) была арестована в рамках «Збоншинского выдворения» – высылки из Германии польских евреев 28–29 октября 1938 г.
На территории Германии проживало 50 тыс. евреев с польскими паспортами, и еще 10 тыс. жили в Австрии, весной 1938 года присоединенной к германскому рейху. Польское правительство опасалось, что в результате принуждения к эмиграции со стороны властей Германии польские евреи вернутся в Польшу. Поэтому 1 марта 1938 г. президент Польши Игнаций Мосцицкий подписал указ о лишении гражданства польских граждан, проживавших за пределами страны более пяти лет.
В ответ на эти действия германское правительство арестовало 12 тыс. немецких евреев с польскими паспортами или же евреев из Польши, лишенных немецкого гражданства. Эти люди были насильственно депортированы через немецко-польскую границу в районе поселка Збоншинь. Среди них были родители, сестра и брат Гершеля Гриншпана. Депортируемым было позволено взять с собой 1 чемодан на человека и 10 немецких марок. Оставшееся имущество евреев было захвачено в качестве трофеев местными нацистскими властями и их соседями. Несколько дней люди без денег и вещей, без крова и пищи под проливным дождем скитались вдоль границы, изгоняемые из приграничных деревень полицией и местными жителями. Некоторые беженцы пытались вернуться в Германию, но их задерживали пограничные власти.
О депортации своей семьи Гершель узнал из письма сестры. 6 ноября 1938 г. он написал прощальное письмо родным: «Мое сердце облилось кровью, когда я узнал о вашей судьбе, и я должен протестовать так, чтобы об этом узнал весь мир». На следующий день Гершель покинул свое укрытие, купил в оружейном магазине револьвер и отправился во дворец Богарне, где находилось посольство Германии во Франции. Его без регистрационных формальностей и свидетелей принял секретарь посольства Эрнст фом Рат. Гриншпан прокричал: «Вы грязный бош! Сейчас я предъявлю вам счет от имени 12 000 преследуемых евреев» – и пять раз выстрелил в немецкого дипломата. Затем он без всякого сопротивления сдался французской полиции. Согласно полицейскому протоколу, Гриншпан после ареста заявил: «Я решил убить сотрудника германского посольства в знак протеста, чтобы обратить внимание мира на то, как в Германии обращаются с польскими евреями».