В 1994 году, когда на объекте «режим помягчал», были проведены масштабные раскопки на территории большого города. Изучение находок позволило датировать их XII–XIII веками и предположить, что, по-видимому, Саровское городище являлось крупным центром мордвы домонгольского времени и по своим размерам (около 40 гектаров) среди известных мордовских городищ было крупнейшим. Есть несколько версий. Наиболее распространенная «доархеологическая» версия происхождения Саровского городища связана с легендой о татарском городе Сараклыче. Название, происходящее от двух слов: «сары» — желтый и «кылыч» — клинок. Часть историков не разделяет версии о татарском следе в истории Сарова, хотя влияния Золотой Орды в определенный период времени данной местности, вероятно, избежать не удалось. Почему же именно этой гипотезе о татарском происхождении Сарова еще в ранний период была придана легитимность, — об этом чуть позже.
В русском православии, кстати, как и в других конфессиях, всегда была традиция «обставлять» истории возникновения монастырей чудесами: видениями, обретениями икон и т. п. Не явилось в этом отношении исключением и повествование первоначальника Иоанна. Рассказы о чудесном сиянии и колокольных звонах, слышимых из-под земли, прибавляли Старому городищу ореол таинственного, святого места. Однако жители близлежащих сел позднее считали, что звон и свет исходят от спрятанных в земле прежними обитателями городища сокровищ. Отсюда и неизлечимая страсть к кладоискательству у прежних и нынешних жителей, которая, однако, пока результата не дала.
Некоторые монахи селились в двух верстах от городища у мельницы на реке Сатисе возле самой дороги из Арзамаса в Темников. Большая оживленная дорога была не безопасна, ибо на протяжении почти 20 верст проходила по глухим лесам, где часто сбивались разбойничьи шайки. Одна из них избрала Старое городище для своего лагеря. Не выражали большой радости от соседства с монахами и крестьяне, которые занимались в не охраняемых местных лесах охотой, сенокосом, бортничеством, рыбной ловлей и другими промыслами. Они понимали, что безобидные монахи-пустынники могут со временем вытеснить их с традиционных мест промыслов. Так в будущем и произошло. Конфликты с крестьянами сопровождали строительство монастыря, возникали они и в течение как минимум первых ста лет существования Саровской пустыни.
Само проживание в обители, даже для тех, кто принял здесь пострижение, было не легким делом. Не все оставались в пустыни. Но тем не менее монашеский скит жил. В отличие от первопришельцев монахи последующей волны строили свои кельи не на вершине холма, а под ним — вблизи источников, там, где теперь в городе церковь Иоанна Предтечи. Именно в этот период в 1692 году сам Иоанн начал копать в склоне горы келью, положив начало знаменитым саровским пещерам, реставрируемым сегодня и напоминающим подземелья Киевско-Печерской лавры.
Толчок к принятию Иоанном решения о необходимости преобразования «вольного» монашеского поселения в монастырь дала, как это часто случалось, вполне обыденная древняя как мир история человеческих амбиций. Вот как рассказывает об этом в своей книге А. М. Подурец. Началось с того, что в Троицком монастыре возникла надобность в монастырском священнике (иеромонахе), и Иоанн сам порекомендовал братии давнего своего знакомого, монаха арзамасского Троицкого монастыря Авраамия. Но перед принятием священнического сана «по уставу и чину монашескому» претенденту полагалось «…очистити совесть свою исповедию пред духовным отцем… и все от юности грехи исповесть ему». Авраамий избрал своим духовным отцом Иоанна и открыл ему все свои прегрешения. Но среди этих прегрешений оказались такие, которые, по мнению Иоанна, исключали саму возможность Авраамию быть священником. Авраамий, вероятно, предпринял попытки убедить Иоанна, но тот был непреклонен. В результате друг превращается в злейшего врага и месть становится смыслом жизни. В Патриарший приказ в Москве поступает челобитная от Авраамия. Донос был очень серьезен, учитывая, что в нем сообщалось о встречах Иоанна в эти годы с заволжскими раскольниками и о поступках, мягко выражаясь, не характерных для церковной жизни того времени. Например, говорилось о том, что настоятель допустил раскольников к церковной службе в храме Введенского монастыря, стремясь добиться их расположения и отказа от раскольничества. Для разбирательства оба — Иоанн и Авраамий — были вызваны в Москву в Патриарший приказ. Опасаясь худшего, уже из Москвы, Иоанн отправил в Саровскую пустынь письмо, в котором просил саровскую братию разрушить деревянную часовню, построенную им самим в 1699 году у большой Темниковской дороги. Видимо, он хотел убрать вещественное напоминание и указание на то, что поблизости находится Саровская пустынь, вызвавшая недовольство властей. Разбирательство в Москве окончилось удачно для Иоанна, после чего он и приступил к строительству церкви и преобразованию «вольного» монашеского поселения в монастырь.