Po wybuchu wojny, 15 października 1939, zakłada w Warszawie wraz z kolegami jedną z pierwszych w okupowanej Polsce organizacji konspiracyjnych – Polską Ludową Akcję Niepodległościową (PLAN). Współredaguje pierwsze numery podziemnego pisma „Biuletyn Polski”. W grudniu tego samego roku, z zamiarem przedostania się na Zachód, przekracza linię demarkacyjną, rozgraniczającą tereny zajęte przez wojska niemieckie i radzieckie. Dociera do Białegostoku, potem do Lwowa, gdzie rekomendowany przez Marię Dąbrowską i Juliusza Kleinera, zostaje przyjęty do istniejącego jeszcze, ale już zamierającego przedwojennego Związku Literatów. Z Lwowa, w poszukiwaniu środków do życia i drogi na Zachód, przenosi się do Grodna. W Grodnie pracuje krótko w teatrze lalkowym, usiłując jednocześnie zorganizować sobie przerzut na Litwę. „Znalazłem wreszcie, dzięki pożyczkom, dwóch przemytników gotowych do przerzucenia mnie na Litwę. Jeden z nich nazywał się Mickiewicz. Pod takimi auspicjami zaczęła się moja… «Droga do Rosji». Nasza furka wyminęła rogatki Grodna o północy i ujechała zaledwie dziesięć kilometrów. Samochód policyjny dognał ją w pustym polu, gdzie podobne operacje nie zwracały niczyjej uwagi. Mój Mickiewicz był na usługach NKWD”.
Opisane w ten sposób przez Herlinga-Grudzińskiego aresztowanie (w szkicu „Godzina cieni” w tomie „Drugie przyjście”) miało miejsce w marcu 1940 roku. W więzieniu w Grodnie pisarz zostaje skazany na pięć lat pobytu w obozach. Poprzez więzienia w Witebsku, Leningradzie i Wołogdzie trafia do łagru w Jercewie w systemie obozów kargopolskich, ciągnących się wzdłuż linii kolejowej z Wołogdy do Archangielska. Zostaje stamtąd zwolniony po dramatycznej głodówce protestacyjnej 20 stycznia 1942 roku, 12 marca zaś w miejscowości Ługowoje w południowym Kazachstanie zostaje wcielony do 10. Pułku Artylerii Armii Polskiej generała Andersa. Dalsze wojenne losy pisarza związane są z dziejami Drugiego Korpusu, w którego szeregach uczestniczy między innymi w bitwie pod Monte Cassino (odznaczony za udział w niej krzyżem Virtuti Militari).
Już w 1943 roku Herling-Grudziński wznawia przerwaną z konieczności działalność literacką, pisując do czasopism polskich wydawanych w Bagdadzie (,,Kurier Polski”) i w Jerozolimie (,,W Drodze”). W latach 1945-46 kieruje działem literackim tygodnika,,Orzeł Biały”, organu Drugiego Korpusu. Bierze udział w Rzymie w pracach przy zakładaniu Instytutu Literackiego i miesięcznika „Kultura”, którego pierwszy numer, z czerwca 1947 roku, redaguje wspólnie z Jerzym Giedroyciem. Pod koniec 1947 roku wraz z żoną Krystyną, z domu Stojanowską (1915-1952), przenosi się do Londynu, gdzie nawiązuje współpracę z „Wiadomościami”, tygodnikiem politycznym i literackim redagowanym przez Mieczysława Grydzewskiego. Na łamach tygodnika ukazuje się w odcinkach, przed wydaniem książkowym, Inny Świat. Obozowe doświadczenia, które znalazły wyraz w tej książce, określiły punkt widzenia autora na złożone stosunki polsko-radzieckie, ich często dramatyczny wymiar, stosunki, które dopiero teraz mogły stać się przedmiotem wszechstronnych studiów historyków polskich i radzieckich.
W latach 1952-55 pisarz przebywa w Monachium, pracując w rozgłośni polskiej Radia Wolna Europa. W 1955 roku osiada na stałe w Neapolu, gdzie poślubia córkę Benedetto Crocego, Lidię. Podejmuje na nowo ścisłą współpracę z „Kulturą”, uczestniczy także istotnie w pracach Instytutu Literackiego, z którym związany jest do dzisiaj. Do 1981 roku publikuje również w prasie włoskiej (między innymi w,,Tempo Presente”,,,Corriere delia Sera”, „II Giornale”).
Debiutem książkowym Herlinga-Grudzińskiego był tom szkiców literackich „Żywi i umarli” (Rzym 1945). Kolejne publikacje książkowe to „Inny Świat” (wyd. angielskie Londyn 1951, wyd. polskie tamże 1953), tomy opowiadań i szkiców: „Skrzydła ołtarza” (Paryż 1960) i „Drugie przyjście” (Paryż 1963), szkice o literaturze rosyjskiej „Upiory rewolucji” (Paryż 1969), „Dziennik pisany nocą” 1971-1972 (Paryż 1973), „Dziennik pisany nocą” 1973-1979 (Paryż 1980), „Podróż do Burmy” (Londyn 1983) – dziennik z pobytu w tym kraju w 1952 roku, drukowany w latach 1952-53 w „Wiadomościach”, „Dziennik pisany nocą” 1980- 1983 (Paryż 1984). Kolejne części Dziennika, który posiada formułę otwartą, ukazują się na łamach „Kultury”. Wiele innych istotnych dla twórczości Herlinga-Grudzińskiego tekstów rozproszonych jest po czasopismach, na zebranie oczekują także jego opracowania i przedmowy do wydań dzieł innych pisarzy.
Pierwszą książką Herlinga-Grudzińskiego, jaka po wielu latach ukazała się w kraju, był tom „Wieża i inne opowiadania” (Poznań 1988), opublikowany nakładem Wydawnictwa Polskiej Prowincji Dominikanów „W Drodze”.