Годы заключения стали для Олтаржевского огромным тяжелым испытанием, которое, надо признать, он выдержал с честью. Выдержал и победил благодаря своему таланту и редкой личной смелости. Фактически, как волк из песни Высоцкого, он пренебрег навязанными правилами и ограничениями и сумел, как говорится, «уйти за флажки».
Он просто не представлял себе будущей жизни без своей работы архитектора. Конечно же ему хотелось выжить и продолжить свое дело. До слез хотелось вернуться в Москву, в свою мастерскую, пройтись по аллеям «своей» выставки, об открытии и триумфальном успехе которой он узнал, как уже говорилось, запоздало и случайно.
Олтаржевский решился на неожиданный, неординарный, рискованный шаг Он написал письмо самому товарищу Сталину. И… случилось чудо! Его вызвали в Москву.
Но обо всем по порядку.
Мы расстались с Вячеславом Константиновичем в момент его ареста в 1938 году по надуманному обвинению. Официальная версия гласила, что он, «являясь участником организованной вредительской организации правых», существовавшей на строительстве Всесоюзной сельскохозяйственной выставки, вел подрывную вредительскую работу в области проектирования, архитектурного оформления и строительства». По приговору Военной коллегии Верховного суда СССР от 21 апреля 1939 года Олтаржевский был осужден к лишению свободы в исправительно-трудовом лагере сроком на 15 лет. Для отбытия наказания Олтаржевский был направлен в Воркутстрой НКВД.
В результате Вячеслав Константинович оказался в строящемся за полярным кругом шахтерском городе. После прекрасных ансамблей выставки и возносящихся в небо фонтанов ему пришлось строить бревенчатые бараки для заключенных, в одном из которых, очевидно, жил и он сам. Строил он и одно- и двухэтажные домики для вольнонаемных рабочих.
Но вскоре ему улыбнулась удача — его заметили. Потребовалось построить дом для начальника комбината, главного человека во всей Воркуте. Как всегда, все надо было сделать хорошо и быстро, «вчера». Среди вольнонаемных работников комбината человека, способного спроектировать что-либо пристойное, не нашлось, и работу поручили Олтаржевскому. Он вспомнил молодость и весь свой архитектурный опыт, и ему удалось создать симпатичный коттедж в скандинавском стиле с черепичной крышей. Он начальнику комбината понравился — да и не мог не понравиться.
Вскоре после этого Олтаржевский получил должность начальника проектного отдела Воркутстроя. А затем стал исполняющим обязанности главного архитектора города. Все проекты первых гражданских сооружений рождающегося города прошли через его руки. Так что Олтаржевский, помимо своей воли, принял достойное участие и в реализации еще одного важнейшего для страны проекта — освоении нового угольного бассейна. По его проекту выстроены комплекс наземных зданий шахты № 1 «Капитальная» — надшахтное здание, шахтокомбинат и строения вблизи него.
Вот как вспоминает об Олтаржевском один из его товарищей Л.Е. Райкин, с которым судьба неожиданно столкнула Вячеслава Константиновича в Воркуте:
«В 1939 году в проектной конторе появился человек лет шестидесяти (Олтаржевскому тогда было 59 лет) с аккуратно подстриженной бородкой клинышком. Вылитый профессор. Из-под его лагерной телогрейки выглядывали белый воротничок и черный галстук. “Архитектор Вячеслав Константинович Олтаржевский”, — представился новичок…
Руководя архитектурной группой отдела, он внимательно относился к сотрудникам, направляя все проектирование первых гражданских сооружений рождающегося города. Всегда подтянутый, корректный, несколько суховатый, но всегда предельно внимательный Вячеслав Константинович пользовался неизменным уважением всех, кто с ним сталкивался, в том числе начальника комбината Л, А. Тарханова и главного инженера В.С. Фейтельсона.
Вячеслав Константинович отличался феноменальной работоспособностью и усидчивостью. Попыхивая трубкой, набитой махоркой, с таким видом, как будто она набита душистым табаком, он с виртуозной быстротой набрасывал десятки предварительных эскизов к очередным проектам. В его набросках и чертежах чувствовалась рука большого мастера. Фасады, выполненные тонкой штриховкой простым карандашом, напоминали старинные гравюры и могли бы представлять самостоятельную ценность как произведения графического искусства».