В 1849 г. во время венгерской кампании был инспектором военных сообщений нашей армии и отправлен в главную квартиру ее в город Мишкольц в Венгрии; здесь Дельвиг построил мост через реку Гернат у д. Пога для перехода следовавшего из Дебрецена к армии 4-го пехотного корпуса и осматривал военную дорогу и почтовые станции по тракту от Гросс-Вардейна через Токай до Галиции. За особые труды в эту кампанию Дельвиг был награжден Императорской короной на орден Св. Анны 2-й степени. В 1850 г. он был назначен членом учебного комитета Главного управления путей сообщения, комиссии по сооружению постоянного моста через р. Неву, технической комиссии при Департаменте железных дорог и состоял с этого года начальником Московских водопроводов, причем устроил в 1856 г. водоснабжение на Ходынском поле в Москве.
С 1852 по 1861 г. Дельвиг состоял председателем архитектурного совета комиссии по постройке в Москве храма Спасителя и членом комитета по надзору в Москве и ее уезде за устройством фабрик и заводов. В продолжении 10 лет с 1861 по 1871 г. Дельвиг, состоя в должности главного инспектора частных железных дорог, принимал деятельное участие в постройке 32 железных дорог длиною в 11 222 версты.
В 1868 г. Дельвиг, по случаю преобразования корпуса инженеров путей сообщения, зачислен по инженерному корпусу военного ведомства; был назначен членом Комитета железных дорог, получил чин генерал-лейтенанта и назначен членом комиссии генерал-лейтенанта Зиновьева для начертания путей, могущих служить для скорого подвоза хлеба в часто страдающие от неурожая северные губернии; в следующем, 1869 г. Дельвиг был назначен членом совета Министерства путей сообщения и постоянным членом комитета при Военном министерстве по передвижению войск железными дорогами и водой, а также сенатором, причем в течение десяти месяцев, в отсутствие графа Бобринского, временно управлял Министерством путей сообщения. [Зиновьев Николай Васильевич, 1801–1882, генерал; в 1868 г. возглавлял комиссию по оказанию помощи жителям России, пострадавшим от неурожая 1867 г., а также был председателем комитета для обсуждения вопроса о соединении железнодорожными путями Волги и Северной Двины с Невой с целью устранения на будущее время недостатка хлеба в северной части России. Граф Бобринский Алексей Павлович, 1826–1894, управлял Министерством путей сообщения с 1871 по 1874 г.]
В 1871 г. Дельвиг получил орден Св. Александра Невского, оставил службу по Министерству путей сообщения и назначен присутствующим сенатором в 1-й Межевой департамент, где и состоял до самой смерти, последовавшей 20 января 1887 г. С 8 марта 1867 по 20 ноября 1870 г. Дельвиг был первым председателем образованного при его участии Русского технического общества, которое многим обязано энергической деятельности своего первого председателя. К этому же периоду относится и деятельность Дельвига по участию в разработке положений и самом создании технических железнодорожных училищ, первые из которых возникли по его почину на средства, добровольно отчисленные частными железными дорогами. Одно из таких училищ учреждено в 1870 г. в Москве под названием Дельвиговское железнодорожное училище, для которого Дельвиг пожертвовал дом и устроил при нем общежитие, обеспечив его капиталом. И по оставлении места председателя Дельвиг, избранный почетным членом Технического общества и почетным членом совета, не переставал заботливо относиться к основанным обществом школам для взрослых рабочих, постоянно изыскивая средства для них и привлекая пожертвования; так, например, в 1883 г. последовало Высочайшее соизволение на учреждение трех стипендий имени барона Дельвига; с 1875 по 1877 г. Дельвиг был председателем съезда машиностроителей и членом комиссии для снабжения железных дорог рельсами и подвижным составом. В 1881 г. Дельвиг праздновал пятидесятилетие своей служебной деятельности в офицерских чинах и в день юбилея был произведен в чин генерал-инженера.
Дельвиг был не только выдающимся практическим деятелем и глубоким знатоком дела, без участия которого не обходилась почти ни одна специальная комиссия по водопроводному делу, но и выдающейся научной величиной. Особенное значение труды его имеют в истории русской гидротехники: он первый пересадил гидравлику с французской почвы на русскую и первый указал русским инженерам всю важность теории водопроводов, разработанную во Франции – рассаднике гидротехнического искусства. Особенно многим обязана Дельвигу Москва, водопроводы которой с мытищинской водой – создание его рук и его ума. Дельвиг – неутомимый работник на практическом поле деятельности – всегда охотно делился своими знаниями и опытностью со своими товарищами по специальности и путем устного слова, и печатно.