Неуспех лекционных турне осложнялся еще тем, что Гарт, устававший от поездок, почти не находил времени писать. В 1874 году он бросает лекции и принимается за роман из калифорнийской жизни.
Несмотря на неудачи, он еще полон сил и веры в себя. Английская актриса Фэнни Кэмбл, познакомившаяся с Гартом в 1875 году в отеле под Нью-Йорком, где он жил с семьей, оставила в письме к родным беглый, но интересный его портрет:
«Он сильно напомнил мне нашего старого друга, этого пирата и душегуба Трелоуни, хоть и надо заметить, что Трелоуни почти по-восточному смугл, а мистер Брет Гарт довольно белокож. Оба высокого роста, отлично сложены, хороши собой и с тем особенным выражением лица, не предвещающим успеха никому, кто вздумал бы затеять с ними ссору».
Чтобы оценить это сравнение, надо помнить, что живописный Трелоуни, на несколько десятков лет переживший своих друзей Байрона и Шелли, был в Англии живым памятником минувшей романтической эпохи и «букой» в глазах добропорядочных викторианских буржуа. Марк Твен, говоря о внешности Гарта, вспоминает о его особенном щегольстве, которое выделяло Гарта «из любой толпы сверхмодников»:
«Иногда галстук у него бывал алый, точно вспышка пламени под подбородком, иногда цвета индиго, такого теплого и живого, точно на грудь ему села блестящая и пышная бразильская бабочка».
Положение Гарта между тем не улучшалось.
В «Гэбриеле Конрое», вышедшем в 1876 году, писатель попытался свести воедино многоразличные мотивы своих калифорнийских рассказов. При этом он понес известные потери; повторить с прежним жаром «первооткрытия» ранних лет, равно как и воспроизвести в романе острые, лаконичные характеристики и драматические коллизии первых рассказов, оказалось невозможным. Зато новым достижением Гарта стала широта нарисованной картины, более проницательный взгляд на американскую жизнь.
Роман был встречен ледяным молчанием критики. Он не упрочил положения Гарта и не дал ему денег. Это был тяжелый удар.
Гарт обратился к драматургии. Пьеса из старательской жизни «Двое из Сэнди-Бара», в которой он вывел уже знакомых публике героев своих рассказов, не имела успеха и довольно скоро сошла со сцены. Тогда Брет Гарт в сотрудничестве с Марком Твеном написал вторую пьесу, «А Син», тоже из калифорнийской жизни. Несмотря на усилия обоих авторов, пьеса провалилась. Неудачное соавторство и денежные расчеты осложнили отношения Гарта с Марком Твеном. Друзья поссорились на всю жизнь.
Брет Гарт впал в глубокую нужду.
Тут вступил в действие один из мрачных законов буржуазной общественной жизни США, в особенности проявляющийся в поведении прессы. Если удачнику непомерно льстят, то неудачника злобно преследуют.
В январе 1877 года влиятельный журнал напечатал статью, подвергшую творчество Гарта резкой и враждебной критике, а бульварная пресса перешла к оскорбительным личным нападкам на писателя.
Сейчас трудно с точностью установить, что именно в поступках и высказываниях Гарта вызвало такой стойкий антагонизм у его буржуазных соотечественников и дало повод па долгие годы для пересудов о нем. Черты богемного индивидуализма у Гарта, несомненно, раздражали филистеров. Не последнюю роль сыграло и нежелание Гарта платить хотя бы формальную дань почтения такой могучей силе в американской частной и общественной жизни XIX века, как церковь и связанная с ней религиозная мораль.
Известно, например, что в разговоре с Эмерсоном, оспаривая его тезис о культуртрегерской роли церкви в США, Гарт резко возразил, что, по его наблюдениям, в Калифорнии игрок и проститутка были лучшими культуртрегерами, чем священнослужители. В письме к издательнице детского журнала «Сэнт-Николас», отказываясь от предложенных замен и поправок в его рассказе «Малыш Сильвестра», Гарт написал, что дети, по его мнению, отлично воспринимают все, «кроме чувствительности и богословия, которыми, к великому сожалению, их так усердно пичкают».
Живучесть нападок на Гарта отчасти объясняется и тем, что Гарт отказывался на них отвечать.
Летом 1877 года, оставив семью под Нью-Йорком, Брет Гарт поехал в Вашингтон. Поселившись в дешевом вашингтонском отеле, он начинает трудные и неприятные хлопоты, добиваясь для себя какой-нибудь оплачиваемой государственной должности. Одновременно он работает над новой повестью, «История одного рудника», тоже из калифорнийской жизни.