С 1928 года Скалдин с семьей живёт в Детском Селе, работает библиотекарем и редактором в Госиздате ("Лучше в море утопиться, чем в Госиздасе служить" - из его шуточных стихов), посещает литературные собрания в домах поэта Кривича и литературоведа Иванова-Разумника. Собрания эти не носили исключительно литературный характер, там обсуждались и политические темы. Именно поэтому в январе-феврале 1933 года все члены кружка Иванова-Разумника были арестованы. Их обвинили в создании контрреволюционной организации. После трёхмесячного следствия тройка ОГПУ объявила приговор: "За участие в деятельности контрреволюционного центра народнического движения Скалдина А. Д. заключить в концлагерь сроком на 5 лет. Заключение в к/л заменить высылкой в Казахстан на тот же срок".
По делу "идейно-организационного центра народнического движения" проходили сотни людей: искусствоведы, учителя, библиотекари, технические работники, литераторы, среди которых: Иванов-Разумник, Гизетти (уже отбывший в то время срок в Коканде), Евгеньев-Максимов, Бухштаб, Егунов, Чирсков и многие другие. Тринадцатитомное дело народнического центра, хранящееся в архиве Петербургского КГБ, даёт представление о том, что наряду с немногими убеждёнными идейными противниками установившегося строя (отвергавшими насильственные методы борьбы с ним) было привлечено и репрессировано множество, хотя и не сочувствовавших режиму, но далёких от политических акций людей. Одним из таких в 1930-е годы был и Алексей Дмитриевич Скалдин.
Уже в апреле 1933 года Скалдин в Алма-Ате. Живёт в одной комнате с таким же ссыльным библиографом Публичной библиотеки Яковом Петровичем Гребенщиковым, работает в Горжилсоюзе и в письмах к семье, понятно, очень сдержан. Жена, Елизавета Константиновна (прообраз героини романа прекрасной, загадочной, демонически-влекущей), через несколько месяцев после его ареста, не выдержав ещё одного насильственного разлучения, умирает в Детском Селе. Психически заболевает, впадает в глубокую депрессию от сознания страданий, причинённых своей семье, и Гребенщиков. Он был досрочно освобождён по болезни в конце 1934 года, а в 1935-м умер. Скалдин остаётся один, он замыкается, но держится. Может быть, потому, что несмотря ни на что: на то, что нет необходимых книг, общения с семьёй и друзьями, вообще общения и естественно-привычной среды - он всё-таки работает. Работает в условиях невыносимых, в обстановке непонимания, а потому отторжения, ненависти: "...надоедает и раздражает подлая тупость моих квартирных соседей, которым я не по нраву, а так как они свой нрав очень ценят, то мне даже и домой ходить неприятно. Это осложняется целым рядом мелочей. Сижу, например, из-за сложности ситуации в отношениях без электричества, при свече. А электричество нужно не только для работы, но и для лечения".
В ссылке было написано восемь романов. Вот как аннотирует некоторые из них автор в письме к литературоведу Иванову-Разумнику:
"Роман о Распутине, построенный на рассказах людей, много о нём знавших
Колдуны - роман о деревне, о её истории, начиная с 1840-х годов до нашего времени включительно
Повесть каждого дня - лирический роман о любви человека, которому любовь "никак не удаётся"
Чудеса старого мира - роман о взаимоотношениях русского человека с зарубежным миром
Третья встреча - роман о будущем как бы, но в формах совершенно настоящего".
В другом письме названы повести: "Авва Макарий", "Неизвестный перед святыми отцами", "Сказка о дровосеке с длинным носом". Всего было написано более четырёх тысяч страниц, что должно было составить 170-180 печатных листов.
Наконец, ссылка отбыта. И сразу - в гущу жизни. Даже там, в Алма-Ате, Скалдин выступает с лекциями о тех, кого знал и любил и чьи имена не под запретом: о Блоке, о Репине. Спорит о современном искусстве на диспуте изокритиков. Об этом сообщали алма-атинские газеты.
Он приезжает в Москву, Ленинград, целыми днями читает своё старым друзьям: Иванову-Разумнику, Верховскому, дочери Марине. Последнее, известное нам письмо, датированное 17 июня 1941 года, о том, что сборы к окончательному отъезду из Алма-Аты продолжаются. "Нужно думать, что скоро поеду". Выехать не удалось - через четыре дня началась война. Что было потом - неизвестно. Даже дочь не получала больше писем. Дата смерти, обозначенная в Краткой литературной энциклопедии - 1943 - не имеет пока документального подтверждения. С большой долей вероятности приходится предположить, что творческий архив Скалдина погиб.
Сам Скалдин сумел сохранить и поместить в Литературный музей то, что считал ценным: письма Блока, Вячеслава Иванова, Георгия Иванова, Мандельштама, Северянина, Мейерхольда и многих других, литературные материалы по журналам "Пламя" и "Горнило", рукопись книги Вячеслава Иванова "Нежная тайна", коллекцию исторических документов.
Из его же собственного творческого наследия уцелело совсем немного: черновики опубликованного (РГАЛИ), стихотворные и прозаические фрагменты (Пушкинский Дом), один из которых мы представляем читателям.
Краткий очерк о трагической судьбе сильного и мужественного человека, выходца из низов, пробившегося самоучки, хотелось бы завершить свойственной Скалдину уверенностью. Система трижды швыряла его на дно жизни, замалчивала и крушила созданное, развеяла и сожгла творения его ума и таланта. Она физически уничтожила человека, едва переступившего порог своего пятидесятилетия, полного сил и творческих возможностей. И что же? Спустя полвека переиздаётся сначала в США, затем на родине его единственный сохранившийся роман, сейчас он переведён в Швеции. Находятся, и - мы не сомневаемся - ещё отыщутся хранившиеся у друзей рукописи. Терпение к жизненным невзгодам и верность призванию оказались сильней жестокого вектора времени. Они влияют и на наше время, одухотворяют его убеждённостью и непреклонностью художника.