«Совершенно неожиданно для меня я увидел недавно у одного приезжего адрес–календарь на этот год и нашёл моё имя среди иностранных членов Имп. Академии. Признаю, что для меня это немалая честь стоять в ряду с людьми, известными всему миру, но, к сожалению, эта честь мне не подабает, ибо я родился в русской провинции и как русский подданный в годы моего обучения всякий раз, когда брал паспорт, должен был давать обязательство о своём возвращении. В отношении моей собственной персоны безразлично, принадлежу ли я к отечественным или иностранным учёным. Но с точки зрения пользы, которую я могу принести Имп. Академии как естествоиспытатель, а также доверия нации к отечественному учёному или иностранцу разница очень значительна. Поэтому, прав я или не прав, я хотел бы, чтоб моё имя впредь, как раньше, стояло между именами моих друзей — г-на коллежского советника Палласа и господина надворного советника Протасова…»
Работа на новом месте не удалась. Нерчинск — прежде всего каторга, и нравы в то время там были каторжные. Начальство безнаказанно воровало, бесчинствовало. Честный и правдивый Лаксман был там всем как кость в горле. По донесению генерала Бекельмана, указом Сената его освободили от занимаемой должности. В письме Г.Ф. Миллеру он перечисляет все беды, свалившиеся на него:
«Итак, я живу без жалования, без покровителей и должен теперь начинать добывать себе пропитание трудом рук своих, после того как 20 лет пользовался известностью в учёном мире и отдавал науке свои способности. Так приходится честному человеку терпеть оскорбления от самодура, который возвеличился лакейскими услугами, без подвигов, за счет других героев и полагаться только на своего шурина. Поверьте мне, я не прожил здесь ни одного дня без притеснений. Всем моим начинаниям ставилось препятствие. Кто может всё это рассказать?
...Подумать только! Сколько есть у меня друзей в Петербурге! Сколько естествоиспытателей во всей Европе! И ни от кого я не получил ни строчки, как будто я уже никуда не годен. Никто не замолвит за меня ни слова, никому нет дела до моей участи! Таков свет. Мои друзья, наверно, с улыбкой получают редкие и прекрасные натуралии и ведут об этом весёлый разговор за бокалом вина или чашкой кофе».
Это письмо очень яркое, горькое и правдивое. Пятьдесят лет назад так же унижали Гмелина, Стеллера, Крашенинникова. Интеллект и научные заслуги в сибирской глуши ничего не значили. Бесчинствующих чиновников несколько пугали указы Сената, но человек, лишившийся и этой поддержки, становился щепкой в житейском море.
В то время у Лаксмана уже было восемь детей: двое мальчиков от первой жены и остальные шесть — от второй. Поэтому он не гнушается никакой работой. Переменив несколько мест, он становится исправником в Нерчинске. И, несмотря на житейские потрясения, продолжает оставаться естествоиспытателем. Именно в эти годы он собирает коллекцию растений и со своими уже подрастающими сыновьями отправляет её в Петербург высокопоставленным особам, среди которых будущий император Павел I. Этот дар имел свои последствия — отношение к Лаксману изменяется к лучшему. В Академии тоже произошли некоторые события: академики взбунтовались против Домашнева и отказались ему подчиняться. На его место была назначена княгиня Екатерина Дашкова. Лаксману не вернули место действительного академика, но назначили «минералогическим путешественником» при императорском кабинете, деятельность которого заключалась в поиске и доставке в Петербург поделочных камней и самоцветов для царской семьи. С него сняли все обвинения в служебных «проступках» и назначили оклад в 600 рублей.
Окрылённый Лаксман покидает опостылевший Нерчинск и отправляется в Иркутск — тогдашнюю столицу Сибири. Именно здесь, за 8 000 километров от Петербурга, он встречается с другим учеником Линнея — А.М. Карамышевым. Тот уже не занимался ботаникой, а исполнял должность директора банковской конторы, что не мешало ему превосходно знать растения Сибири.