На этот раз критика действительно заинтересовалась им всерьез. В «Сьекле» подчеркивалось, что «появление обнаженной натуры (подразумевался „Этюд обнаженной“), какова бы она ни была, большая редкость для господ Независимых». Гогена воспринимали как «очень странного скульптора и весьма смелого художника». В «Эвенмане» его пейзажи были оценены как «примитивные. […] У господина Гогена верный глаз, но слишком настаивая на своем, он впадает в настоящую какофонию красок». И только Жеффруа отзывается о нем благосклонно: «„Ночь в Вожираре“ — образчик спокойной, проникнутой светом живописи». Начинающий, по мнению критики, художник такие отзывы мог считать ободряющими, хотя они абсолютно не соответствуют мастерству представленных работ.
В самый разгар выставки, 12 апреля, у Гогена родился третий сын, Жан Рене. Это событие объясняет интимный характер его последующих картин, открывая глубину отцовских чувств, которыми ему, увы, предстоит вскоре пожертвовать. Нежным умилением проникнут «Сон малютки» — портрет спящей Алины. В этой работе он вновь обращается к горизонтальному построению изображения, уравновешенному изгибами железной кровати и белой зыбкой массой одеял, в которые завернута девочка. Картина «Улица Карсель, дети в саду» дышит той же нежностью, но ее композиция, на первом плане которой доминирует тоненькое деревце, занимающее все пространство своими раскинувшимися веером веточками, напоминает японские гравюры и китайскую живопись. А детская коляска своими плавными формами и окружностями металлических колес (это, кстати, первое появление коляски в живописи) создает неожиданный контраст с садом и с застывшей геометрией зданий. Словом, Гоген продолжает развивать свою живописную лексику, и в ней ясно различимо стремление к новым экспериментам.
Почему-то он не представил это полотно на новую выставку импрессионистов в начале 1882 года. Возможно, к этому не располагала атмосфера, сложившаяся в группе художников. Его письмо к Писсарро от 14 декабря 1881 года свидетельствует о том, что Гоген к тому времени обрел уверенность в себе и уже не желал подчиняться привыкшему командовать Дега, который к тому же вновь намеревался навязать своего подопечного Раффаэлли: «Импрессионистов стало больше, выросли их талант и влияние. Но из-за Дега, единственно по его воле, усиливается дурная тенденция: каждый год кто-нибудь из импрессионистов уходит, освобождая место очередному ничтожеству или ученику Школы. Не пройдет и двух лет, и вы останетесь один среди проныр самого худшего толка. Все ваши усилия пойдут прахом. При всем моем к вам расположении я больше не желаю служить посмешищем для господина Раффаэлли и иже с ним. Посему благоволите принять мою отставку: отныне я решил ни в чем не участвовать».
В этом поступке впервые проявился подлинный характер Гогена, его гордость и вспыльчивость. Точно так же был настроен Гийомен и даже, похоже, Кайботт. В конце концов Писсарро внял доводам Гогена, в результате чего Дега отказался от дальнейшего участия в мероприятиях, устраиваемых импрессионистами. 1 марта открылась выставка, в которой после некоторого перерыва приняли участие Моризо, Моне и Ренуар, а также Сислей, Кайботт, Гийомен, Виньон и, конечно же, Гоген. Но из-за злобных нападок критики, считавшей его виновником в уходе Дега, победителем Гоген себя не чувствовал. Как писал Виктор Мерлес: «Презираемый Ренуаром и Моне из-за конфликта с Дега, окруженный неприязнью своей группы и высмеиваемый прессой, художник, так изумительно воспевший в своих следующих картинах красоту Маркизских островов, в то время, по-видимому, оказался в полной изоляции». Практически никто его не поддерживал и не понимал. Как это ни парадоксально, ближе всех по духу ему был именно Дега, но примирение двух живописцев состоится, к сожалению, гораздо позже.
Между тем материальное положение Гогена резко ухудшилось, поскольку к тому моменту рухнула его биржевая карьера. В январе в результате краха Банка Лиона и Луары внезапно прекратился рост курса акций. И если ранее акции большого католического банка, входившего во Всеобщий союз, котировались дороже трех тысяч франков, то теперь они упали до тысячи трехсот, а позже и до шестисот франков. 1 января арестовали директоров, и банк объявил себя банкротом. В результате этих событий Гоген потерял много денег, а Дюран-Рюэля поддерживал тот же Всеобщий союз, и все происходящее не могло не отразиться на рынке живописи. Все планы Гогена перепутались. О своем потрясении он писал Писсарро, единственному, с кем мог поделиться личными проблемами. Вот строки из письма, отправленного в июне 1882 года: «Я не могу одновременно продолжать свою финансовую карьеру и оставаться при этом художником-любителем; я вбил себе в голову, что стану именно художником. Как только горизонт прояснится и я смогу зарабатывать себе на жизнь искусством, займусь живописью вплотную. Но самое главное, что меня бесит больше всего, так это наша разобщенность, которая является причиной всех неудач».