В декабре 1953 БГ вышел в отставку и вступил в новообразованный беспартийный киббуц Сде-Бокер в Негеве, подчеркнув таким образом значение, придаваемое им заселению пустынных земель, и дав этим личный пример молодежи. В феврале 1955 БГ был призван правительством Моше Шарета вновь возглавить Министерство обороны в связи с обострением проблем безопасности Израиля. В ответ на усиление диверсионных действий арабских террористов, проникавших из соседних стран на территорию Израиля, БГ дал приказ о проведении ряда систематических карательных военых операций за линиями перемирия.
После выборов в Кнесст 3-го созыва (ноябрь 1955) БГ вновь стал во главе правительства, сохранив за собой пост министра обороны. Национализация Суэцкого канала египетским правительством, усиленное снабжение Египта советским оружием и диверсионные акты террористов снова поставили под угрозу безопасность Израиля и повлекли за собой Синайскую кампанию, которую БГ провел, координируя военые действия с Францией и Англией. 29 октября 1956 израильская армия двинулась на юг и в течение 6 дней заняла Синайский п-ов и полосу Газы, нанеся сокрушительный удар египетской армии. Однако под давлением США и СССР правительство БГ было вынуждено возвратить эти территории Египту, предварительно обеспечив пребывание на них подразделений ООН для предотвращения развязывания военых действий с этих территорий в будущем.
В предвыборной кампании 1959 БГ ратовал за систему выдвижения кандидатов по избирательным округам в противоположность существовавшей системе пропорционального представительства, при котором вся страна являлась как бы одним избирательным округом. Он считал, что система выборов по округам предотвратит раздробление израильской общественности на мелкие группировки и устранит необходимость формирования коалиционных правительств, основанных на компромиссах. Однако взгляд БГ не только не был одобрен большинством Кнесета, но и вызвал разногласия в партии Мапай. Это ознаменовало начало разлада между БГ и его партией.
В сентябре 1960 в центре внимания общественности страны стало "дело Лавона". Пинхас Лавон, занимавший пост министра обороны во время отставки БГ, требовал снятия с себя ответственности за провал израильской разведки в Египте в 1954. Комиссия, изучившая соответствующие документы, освободила его от этой ответственности. БГ отказался признать решение комиссии и в январе 1961 подал в отставку, предложив партии выбрать между ним и Лавоном. После серьезных разногласий в партии центральный комитет Мапай принял решение сместить Лавона с поста генерального секретаря Гистадрута. После очередных парламентских выборов в августе 1961 БГ вновь возглавил правительство. Однако трения между БГ и партией продолжались, и в июне 1963 БГ снова вышел из правительствава, рекомендовав Леви Эшкола в качестве своего преемника. В 1964 БГ потребовал судебного рассмотрения "дела Лавона", считая это своим долгом и вопросом первостепенной важности. В январе 1965 Мапай отклонила это требование, и на выборах в Гистадрут и Кнесет БГ выступил с самостоятельным "Списком рабочих Израиля" ("Решимат по'а-лей Исраэль", сокр. Рафи). Этот список получил 12 % голосов в Гистадруте и провел 10 депутатов в Кнесет. После Шестидневной войны партия Рафи вместе с Мапай и Ахдут ха-авода объединились в Израильскую партию труда. БГ не вступил в объединенную партию. На выборах в октябре 1969 он стоял во главе "Государственного списка" ("Решима мамлахтит"), получившего всего четыре мандата. В следующем году БГ оставил Кнесет. Окончательно отказавшись от участия в политической жизни, он noлностью посвятил себя литературной работе в уединении в киббуце Сде-Бокер.
БГ представляет собой монументальную фигуру, олицетворившую бурный период современной истории еврейского народа. Таким воспринимали его не только выдающиеся политические деятели Америки и Европы, с которыми он встречался (Трумэн, Кеннеди, Аденауэр, де Голль), но и многие представители европейской литературы, науки и искусства, навещавшие его в Сде-Бокер. О БГ опубликовано множество книг на разных языках. Смерть его вскоре после Войны Судного дня была воспринята в Израиле как символ конца целой эпохи. Непоколебимая вера в национальное возрождение еврейского народа, достигаемое его созидательным трудом на своей родине, явилась основой мировоззрения БГ. Судьба народа, по мнению БГ, решится только в Эрец-Исразль. Он категорически отрицал возможность цельной и полнокровной жизни в диаспоре. Решающими факторами процесса возрождения он считал алию, заселение земель и оборону. В слиянии социализма с сионизмом БГ видел путь к осуществлению идеалов древних пророков Израиля. Не удивительно, что БГ посвятил столь много сил и времени изучению Библии, не только как первоисточнику еврейской культуры, послужившему "светочем народам", но и как стимулу к возрождению Израиля в наш век. БГ верил, что и в наши дни Израиль сможет служить примером для всего цивилизованного мира в создании новых форм обществ, жизни и хозяйственной деятельности, в развитии науки и культуры и в воспитании человека нового типа, свободного от комплексов, порождаемых социальным и национальным неравенством, и гармонично сочетающего в себе интеллектуализм и тягу к физическому труду. Заботой о создании идеального общества и цельной человеческой личности объясняется также интерес БГ к произведениям Платона, Спинозы и к буддизму.
Оценка БГ как политического деятеля по сей день вызывает споры. Импульсивность и темперамент БГ нередко приводили его к бурным столкновениям с политическими противниками. Его политическая борьба нередко принимала сугубо личный характер. Оставаясь всегда верным своему мировоззрению, БГ, однако, в решении практических вопросов сочетал идеализм с прагматизмом. Блестящий оратор, публицист и полемист, БГ умел ориентироваться в запутанных ходах партийной борьбы при демократическом cтрое. С одной стороны, БГ предпринимал решающие шаги в самые критические моменты, несмотря на давление могущественных держав (как, например, при провозглашении Государства Израиль), а с другой — после пламенных речей следовали расчетливые мероприятия осторожного дипломата (борьба с британскими властями, дипломатические шаги в ходе Войны за Независимость и после нее, период Синайской кампании). Способность БГ смело принимать решения первостепенной важности приводила его к так называемой "личной дипломатии", к тому, что его соратники и коллеги в правительстве, партии и в Кнесете были не раз поставлены перед свершившимся фактом (Синайская кампания, поставка оружия из Западной Германии, постройка атомного реактора в Димоне), и в этом одна из причин, приведших в конечном счете к политической изоляции БГ после долгого периода отношения к нему как к народному вождю в самых широких слоях общества.
Воспоминания, письма и сборники статей БГ неоднократно издавались на иврите и других языках. На русском языке опубликован сб. "Избранные отрывки из речей и статей" (Тель-Авив, 1973).