Баранщикову выдали «пашпорт печатный на гишпанском языке» на имя москвитянина Мишеля Николаева, и с этим документом он устроился матросом на итальянское судно, следующее в Венецию. Получив в пути от капитана итальянский паспорт, он смог жить и работать в Венеции и поначалу даже не думал возвращаться на родину. Но через некоторое время жизнь его снова резко изменилась: все началось с того, что Василий нанялся матросом к трем купцам, которые отправлялись поклониться Гробу Господню.
В Иерусалиме ему, как и остальным 28 матросам, «определенным от тамошнего патриарха греком приложены были клейма к правой руке — распятие и солнце». Три дня Баранщиков обходил иерусалимские церкви и молился в них, но поклониться Гробу Господню ни его, ни его спутников не допустила султанская стража, так как они не смогли уплатить положенную за это подать.
В Яффе Баранщиков взял расчет, простился с венецианскими купцами и нанялся матросом на греческий корабль, идущий в Константинополь. Там он явился в дом российского посланника Булгакова, рассчитывая с его помощью вернуться на родину. Однако Булгакова дома не оказалось, он уехал из города, подальше от разыгравшейся там эпидемии моровой язвы. А его домоправитель прогнал Баранщикова с порога со словами: «Много вас таких бродяг, и все вы сказываете, что нуждою отурчали».
Василий более месяца перебивался, работая в порту, постоянно ходил на российский гостиный двор, пытаясь выяснить, как теперь вернуться домой, но никто не помог ему там ни словом, ни делом. Состояние Баранщикова было бедственным: зарабатываемых денег едва хватало на жизнь. Но однажды он познакомился на улице с двумя русскими в турецкой одежде. Оказалось, что на турецкой службе живется им очень даже неплохо, у одного даже был в Константинополе свой дом и три жены. Он-то, видимо, и уговорил Василия принять ислам, а потом помог устроиться на службу янычаром.
В казармах Баранщиков прожил только неделю, после чего женился и переехал в дом к тестю. Около десяти месяцев после этого он исправно нес службу, стоял в караулах у ворот султанского дворца при двух пистолетах и кривом кинжале, причем нередко видел самого султана, в сопровождении роскошной свиты выезжавшего по пятницам в соборную мечеть. В то же время Василий научился шить сапоги, получал от этого к своему янычарскому жалованью значительную прибавку и жил безбедно. Но такая жизнь недолго устраивала Баранщикова: его сильно притесняли жена с тестем, поражала жестокость турецких нравов, и особенно беспокоило приближение войны с Россией. Поэтому он решился на опасное и сложное путешествие на родину. Дорогу до российской границы ему удалось выяснить у случайно встреченного курьера из Санкт-Петербурга, после чего, выбрав подходящий момент, Баранщиков ушел из дому, прихватив помимо денег испанский и венецианский паспорта.
Переодевшись в греческую одежду, он через турецкие, молдавские и польские земли пришел пешком к российской границе на Васильковский форпост близ Киева, где и поведал свою историю и предъявил свои паспорта. Из Киева Василия направили в Нижний Новгород. Там он нашел жену свою, которая его еле узнала, и детей в крайне бедственном положении. Вернувшись домой после шести лет скитаний, Баранщиков был «радушно» встречен городскими властями. По настоянию городового магистрата его сразу же взяли под стражу и держали так полтора месяца, требуя с него, купца второй гильдии, уплаты пошлины за шесть лет. Когда Василия наконец освободили, его атаковали кредиторы, требуя уплаты долгов, которых за ним скопилось 230 рублей. Баранщиков продал свой дом и уплатил все вырученные с этого деньги, а оставшуюся сумму, по постановлению городового магистрата, должен был семь лет отрабатывать на соляных варницах.
Только по настоянию генерал-губернатора Ребиндера, заинтересовавшегося его приключениями, магистрат выдал Василию пропуск до Санкт-Петербурга. Там он вначале явился в Александро-Невский монастырь, где после десятидневного покаяния был приобщен святых Христовых тайн, а после этого стал «являться у многих знатных особ», пересказывая историю своих «несчастных приключений». В конце концов Баранщикову удалось найти благодетелей, которые выплатили его долг, освободив его тем самым от семи лет каторги. В том же 1787 году Василий издал книгу о своих злоключениях: отчасти, чтобы заработать денег, а отчасти, чтобы отблагодарить «высоких особ, ему благодетельствовавших», чьи имена он перечислил на последней странице.