Герберт-Отто Гилле, который родился и получил суровое воспитание на родине в Гарце, всегда хотел быть офицером. Когда он достиг приписного возраста, то поступил в знаменитый прусский кадетский корпус, базирующийся в Беррин-Лихтерфельде. В 1917 году ему исполнилось 20 лет, в 30, на самом пике Первой мировой войны, он стал лейтенантом 30-го баденского дивизиона полевой артиллерии. После поражения в войне Гилле оказался без работы, ибо ничего не имел другого, кроме военной профессии. Он провел молодость в казарме и подростком уже попал на фронт. Литературой для Гилле были инструкции и учебники по истории. Ему пришлось теперь осваивать гражданскую профессию. И это в стране, которая стала добычей революции и насилия. Поэтому Гилле покидает город и обосновывается в деревне. Как управляющий имением он ведет простую жизнь и не видит ничего, кроме лесов и полей, что прививает в нем аскетизм. Политика с ее шумом и лихорадкой выборов его не интересует. Не говоря уже о том, что он просто ничего в ней не понимает. Гилле остался верен себе как солдат. Честолюбие заставляет его вернуться в армию.
Приход к власти национал-социалистов 30 января 1933 г. дает ему случай, которого он ждал уже более 15 лет. Для Гилле не было места в рейхсвере, ограниченном диктатом Версаля в количестве не более ста тысяч солдат. Поэтому Герберт-Отто Гилле вступает в отряд СС. Несомненно, он стал приверженцем национал-социалистской партии, честолюбие которой стремилось к тому, чтобы отряды СС стали основой новых соединений с ядром в лице старых офицеров императорской армии и добровольческих корпусов. Бывший лейтенант Гилле в 1934 г. начинает служить в полку «Германия» в Гамбурге. Он проходит все этапы военной карьеры: командир взвода, командир роты и, наконец, командир батальона. Перед началом войны его перевели из Ютерборга в Аролзен. После того как он таким образом получил в свое командование знакомую ему артиллерию, Гилле создает первое артиллерийское подразделение войск СС, становится его командиром и принимает участие в наступлении на Польшу и на Францию.
Феликс Штейнер, который внимательно следил за карьерой Гилле, зачисляет его в дивизию «Викинг», которая была создана в 1940 году. Штандартенфюрер СС Гилле становится командующим артиллерией дивизии германских добровольцев.
Способности Гилле как штабного офицера, а также его смелость и расчет позволяют ему стать наилучшим преемником группенфюрера СС Штейнера, когда того из Украины откомандировали в Эстонию. Гилле не стал на путь создания собственного стиля командования. Разве что, в отличие от предшественника, он сумел, по возможности, беречь своих солдат, экономя их силы, что иногда граничило со скупостью.
— Когда-нибудь война приобретет более жестокий характер, — сказал он однажды в офицерской среде, — и тем ценнее станет тогда жизнь каждого германского добровольца.
Он ведет себя также в высшей степени добросовестно по отношению к сложившемуся до него составу дивизии. Тех солдат, которые пришли добровольно воевать на Восточном фронте, и его собственных земляков он ничем не отличает друг от друга. Для него они не наемники и не авантюристы, а идеалисты, которых нельзя разочаровывать. Он быстро станет таким же любимцем солдат, как и Феликс Штейнер, от которого тем не менее заметно отличается. Под его руководством гренадерская танковая дивизия СС «Викинг» становится все более сильным противником, внушающим страх русским войскам. Благодаря поступлению новых добровольцев, дивизия «Викинг», несмотря на уход из нее полка «Норд», снова почти полностью возрождается. Теперь в ней уже 15 000 солдат, в том числе 500 офицеров и 3000 унтер-офицеров. «Танковая гренадерская дивизия СС «Викинг», — так она стала именоваться с 9 ноября 1942 г., под командой оберштурмбаннфюрера СС Йоханнеса Мюлленкампфа успешно проводила танковые атаки на пути от Ростова-на-Дону до Малгобека на Кавказе. При этом в надлежащем боевом состоянии был только полк, имеющий новые типы танков серии IV. Им командовал штурмбаннфюрер СС Ганс Келлер. Пехота, основа дивизии «Викинг», состоящая из двух гренадерских стрелковых рот, беспрерывно атаковала и контратаковала противника. Причем обе стороны были доведены до истощения.