Когда в середине пятидесятых годов обозначились некоторые признаки разрядки в Холодной войне, советское руководство летом 1955 года решило сократить свою армию на 340 тысяч человек. Это сокращение коснулось и ГСВГ. В течение года из ГДР в СССР были выведены и расформированы штабы и управления четырех все еще существовавших доселе в ГДР стрелковых корпусов из состава 3-й Ударной и 8-й Гвардейской армий. Затем были выведены два полка тяжелых самоходных артиллерийских установок и другие части. До лета 1956 года ГДР покинули в общей сложности около 7500 человек. Но вывод этих частей никак не ослабил боевую мощь советских войск, размещенных в ГДР, о чем четко сказано в послании министра обороны СССР маршала Жукова ЦК КПСС: «Чтобы избежать ослабления артиллерии Группы войск на базе корпусной артиллерии и зенитно-артиллерийских частей четырех расформировываемых корпусов были созданы две дивизии армейской и одна дивизия зенитной артиллерии».
Весной 1956 года советское руководство провело следующее сокращение вооруженных сил. 17 марта 1956 года Совет министров СССР приказал уволить из армии еще 420 тысяч человек. Так как к этому моменту в армии было 120 тысяч вакантных должностей, реальное сокращение охватывало триста тысяч человек. Чтобы добиться этого, Никита Сергеевич Хрущев на засевании Политбюро 1 марта 1956 года предложил «вывести из Германии от четырех до пяти советских дивизий». Но так как это в глазах военных и сторонников жесткой линии в партии слишком ослабило бы боевую мощь ГСВГ, Президиум ЦК КПСС решил вывести из ГДР в Советский Союз только 26 тысяч солдат. Выведены были самоходный артиллерийский полк 3-й Ударной армии и 200-я штурмовая авиадивизия из Бранденбурга и еще несколько частей ВВС.
В настоящее время нельзя сказать с уверенностью, не планировал ли Хрущев в дни Венгерского кризиса даже полностью вывести советские войска из ГДР. Его министр обороны маршал Жуков, во всяком случае, резко возражал против этой идеи и сумел убедить Хрущева в том, что положение ГСВГ нельзя сравнивать с положением советских войск в Венгрии, Румынии или Польше. Это подтвердило и особую роль советских войск в Германии и роль ГДР как младшего партнера Советов. ГСВГ играла слишком важную роль в качестве основного советского бастиона на Западе, что подчеркивал и преемник Жукова на посту министра обороны СССР маршал Родион Яковлевич Малиновский, говоря о том, что она «оказывает влияние на наших противников». Она стала незаменимой составной частью военной политики СССР.
В то же время дальнейшая относительная разрядка международной обстановки, продлившаяся, впрочем, лишь до начала второго Берлинского кризиса, а также создание собственных восточногерманских вооруженных сил в виде Национальной народной армии ГДР позволили советскому руководству снова сократить свои войска в ГДР. Для обеспечения сокращения личного состава ГСВГ на 41700 человек, Генеральный штаб приказал вывести из ГДР до лета 1958 года две дивизии. Чтобы высвободить требующиеся для сокращения войск кадры, кроме того, семь зенитно-артиллерийских дивизий и две артиллерийские дивизии, непосредственно подчинявшиеся главнокомандованию ГСВГ, были преобразованы в бригады.
Сокращение войск повлекло за собой различные изменения организационной структуры, направленные на то чтобы при уменьшении численности личного состава избежать ослабления боевой мощи войск. С одной стороны в конце 195 7 года была введена новая структура в сухопутных войсках. Все прежние стрелковые и механизированные дивизии ГСВГ были преобразованы в мотострелковые дивизии. Эти соединения значительно превосходили своих предшественников в гибкости и маневренности, что было существенно для новой военной стратегии СССР, готовившегося к ведению атомной войны. Изменилась и структура прежних механизированных объединений. 1- и 2-я гвардейские механизированные армии превратились в 1-ю и 2-ю танковые армии, 3-я и 4-я Гвардейские механизированные армии — в 18-ю и 20-ю общевойсковые армии. Эти оба объединения по-прежнему фактически оставались танковыми армиями, но в целях сохранения тайны и дезинформации противника, а также, чтобы лишний раз не пугать Запад, они получили более безобидно звучащее наименование «общевойсковая армия».