Согласно легендам, братья Баташевы были не только «вторыми Демидовыми», но и «второй Салтычихой». Этим особенно прославился Андрей Родионович, старший брат владельца московских хором. На своих владениях он устроил подпольную чеканку фальшивых денег, истязая рабочих, убивая неугодных. Ему ничего не стоило столкнуть мужа понравившейся ему женщины в доменную печь или замуровать три сотни рабочих в подземелье, когда он узнал о присланной из столицы для проверки комиссии. Вслух никто не смел ничего сказать, но молва расходилась все шире и шире, и втихомолку Баташева стали называть не только «фармазоном-безбожником», но и просто «душегубом-разбойником».
Случаи ограбления богатых обозов на подведомственных Баташеву территориях стали повторяться все чаще и чаще, так что губернские власти волей-неволей должны были провести расследование, которое, впрочем, ничего не раскрыло. А в баташевских конторских книгах того времени чаще стали попадаться записи о щедрых дарах столичным и губернским чиновникам. Братья Баташевы умели ладить с властью, преподнося дорогие подарки и подношения. Например, ананасы и клубнику, выращенные в оранжереях, посылали к Рождеству и именины самой Екатерине II и фельдмаршалу Потемкину.
Когда до императрицы дошли слухи о злодействах, и та повелела начать следствие, Баташев накормил, напоил присланного чиновника, преподнес огромную вазу с фруктами, в которой лежал конверт с деньгами и записка: «Фрукты съешь, деньги возьми и убирайся, пока жив».
Баташевы признавали только один закон – собственную волю. А благодаря покровительству светлейшего князя Потемкина, с одной стороны, и многочисленным поблажкам, купленным им у местной власти, – с другой, им все сходило с рук. На Муромском тракте стало опасно проезжать не только купцам, но и богатым помещикам. Для расширения своих владений Баташев не останавливался ни перед чем. Как-то у одного из соседних помещиков он отнял деревню Роксаново, причем прежний ее владелец исчез неизвестно куда. Наследники помещика начали дело: приехали следователи, которые осмотрели издали деревеньку, а затем, переночевав у Баташева, утром решили ехать в Роксаново. Вышли на крыльцо, и видят: деревни как не бывало! «Где деревня?» – спрашивают следователи у понятых. «Знать не знаем, ведать не ведаем! – отвечают те. – Да такой деревни у нас и не бывало!» С тем следователи и уехали. После оказалось, что две тысячи человек за ночь по приказу Баташева разнесли деревню по бревнышку, а землю распахали, так что и следа деревни не осталось. Рассказывали, что после смерти Андрея его дом в Выксе перестраивали и обнаружили при этом потайной ход в подвалы, где было множество человеческих скелетов.
Не раз против Баташева столичные власти пытались возбудить уголовное дело, но каждый раз они улаживались на месте. Смерть Потемкина сильно поколебала влияние Баташева в столице, а при вступлении на престол императора Павла I все вообще круто изменилось. Начались гонения на всех героев «золотого века Екатерины». Добрались и до темного прошлого «Баташевского магната».
За огромным барским домом находились парк и сад, получивший в народе прозвание «страшного сада», из-за того, что посредине его был устроен «позорный столб», к которому привязывали провинившегося для наказания плетьми. Днем жизнь в баташевской резиденции текла обыденно, и только с наступлением темноты начиналась загадочная деятельность. Поползли слухи, что Баташев под землей «другие хоромы строит», но где в них вход, для чего они делаются – никто не знал.
Приехавшая из Петербурга ревизия ничего не смогла открыть, так как никто не знал, где искать ход в «подземные хоромы». По слухам, под всем барским домом помещались двухэтажные подвалы, соединенные широкой каменной лестницей. Нижний из подвалов считался «страшным местом», где, по рассказам, появлялись призраки, и никто из прислуги, даже днем, не решался туда спуститься.
И все же оставшиеся постройки отчасти подтверждают легенды о «подземном царстве» Баташева. В 1925 году фельдшер, проработавший в больнице более сорока лет, уверял, что подо всем зданием проходит тайный ход, и указал у входа в больничную кухню люк в подземный ход к реке Яузе. Поговаривали, что устраивал он в этом дворце неслыханные оргии, а в подвалах пытал людей. Согласно еще одному преданию, от дворца к той же Яузе ведет большой тоннель. Молва утверждает, что по нему И. Р. Баташев проезжал на коляске.