В 70 верстах к юго-западу от Тифлиса, в Больнисском ущелье близ села Чатах, находилось месторождение железных руд, выходивших непосредственно на поверхность. Оно было известно и использовалось местными жителями задолго до появления здесь русских. Исследования показали, что чатахская руда отличалась высоким качеством: выход чугуна составлял в среднем около 40 %. Рядом протекало несколько горных речек, так что дешевой водной энергии имелось в изобилии. Время на Кавказе, как и везде в России, текло страшно медленно. Лишь в 1860 году началась промышленная разработка чатахской руды. Баденский консул в Одессе Эрнст Либ, используя казенную поддержку, устроил в Больнисском ущелье крупный по тем временам завод. Российское правительство выдало ему беспроцентную ссуду деньгами в сумме 20 тыс. руб. с уплатой через 8 лет. Однако средств не хватало, и заводчику повторно было выдано еще 60 тыс., но уже под 5 % годовых с уплатой также через 8 лет. Заводу был отведен казенный рудник протяженностью в 1 версту в посессионное владение и прирезана лесная дача площадью 2 тыс. десятин. Предприниматель вскоре умер, оставив на заводе по состоянию на 1 октября 1862 года 182 тыс. руб. долгу, в том числе казне на 88 тыс. и частным лицам на 94 тыс. Дело шло туго ввиду недостатка в капиталах и знающих, предприимчивых руководителях. Вскоре таковые нашлись в лице иностранца по фамилии Бернулли и действительного статского советника Витте.
Использовав новую правительственную ссуду (20 тыс. руб.), собственные средства, приданое жены и деньги, занятые на стороне, Ю. Ф. Витте запустил в ход чугунолитейный и железоделательный заводы с двумя доменными печами, двумя вагранками, кричными и самодувными горнами, а также 40 различными станками для отделки разнообразных металлических изделий. В 1867 году была произведена первая плавка и получено 21062 пуда чугунных изделий и 4854 пуда железа. Ввиду крайнего несовершенства путей сообщения и отсутствия системы организованного кредита капитал оборачивался крайне медленно, и к 1868 году на заводах висел долг казне в сумме 190 тыс. руб. и частным лицам в сумме 487 тыс.35 «…Четахские заводы были причиной полнейшего разорения всего нашего семейства: из людей богатых мы сделались людьми с крайне ограниченными средствами»36.
После смерти отца вся семья перебралась в Одессу. Сестра Ольга, любимица отца с матерью, прожила не слишком долгую жизнь: заразилась туберкулезом от младшей сестры и умерла, не достигнув пятидесятилетнего возраста. Софья увлекалась литературой и выпустила в конце XIX и начале XX века несколько сборников художественной прозы37. Борис, как аттестует его С. Ю. Витте, «…ничего особенного собою не представлял». После окончания юридического факультета он работал по полученной специальности и закончил жизнь в должности председателя одесской судебной палаты38.
Из своих сестер и братьев Сергей Витте больше всего любил Александра, всю жизнь прослужившего офицером в Нижегородском драгунском полку. Александр Витте был человеком средних способностей, но прекрасной души; отличался непоказной храбростью, которая производила очень сильное впечатление на окружающих. Во время Русско-турецкой войны 1877–1878 годов он совершил несколько воинских подвигов. Сергей часто беседовал с ним о войне и о тех ощущениях, которые люди на ней испытывают. У С. Ю. Витте находили массу недостатков, но никто, не покривив душой, не осмеливался упрекнуть его в трусости.
После потери семейного состояния появились трудности с оплатой учебы братьев Витте в университете. Новороссийский университет не отличался студенческим многолюдством. По состоянию на 1 июня 1866 года в нем учился 151 человек (на физико-математическом — 57), вновь принято было 126. Отсев составил 47 человек, в том числе 11 были исключены за невзнос платы за обучение. Таким образом, на конец 1866/67 академического года численность студентов равнялась 230. Большая их часть происходила из малообеспеченных семей, отчего в университете весьма высоким было число студентов, обучавшихся бесплатно, — 119 человек. В отличие от других учебных заведений, например Московского университета, Новороссийский университет содержался главным образом за счет казны. Сборы за слушание лекций составляли в приходной части бюджета незначительную величину — менее 5 тыс. руб. из 117 тыс., или 4 %39.
Некоторые студенты являлись стипендиатами разных учреждений и частных лиц. На Новороссийский университет было выделено три стипендии Кавказским наместничеством, две из которых достались Борису и Сергею Витте. «Причем я должен заметить, что так как все мы со смертью отца остались без всяких средств, то я, а также и мой брат в течение всего времени пребывания нашего в университете получали от Кавказского наместничества 50 руб. в месяц стипендии, и таким образом я окончил курс университета»40. На самом деле стипендия составляла 250 руб. в год на человека и выделена была лишь после смерти отца Витте, то есть в 1868 году. Чтобы свести концы с концами, приходилось подрабатывать репетиторством. С. Ю. Витте давал уроки детям богатейших одесских негоциантов и банкиров Рафаловичей41.