«Ты мне объяснишь, для чего мира не принимаешь?» — спрашивает Алеша Ивана. Отвечая на этот вопрос, Иван начинает излагать необычайно путаную и никогда не разрешимую проблему смысла зла. Существование зла, особенно страдания в мире ему представляется ничем не обоснованной и ничем не оправдываемой нелепостью. Желая выразить весь ужас страдания, Иван опускается в самые глубины его бессмысленности. Он не обвиняет Бога в страданиях взрослых: «… о больших я и потому еще говорить не буду, что кроме того, что они отвратительны и любви не заслуживают, у них есть и возмездие: они съели яблоко и познали добро и зло и стали "яко бози". Продолжают и теперь есть его». Чуть позже Иван повторяет ту же мысль: «Я не говорю про страдания больших, те съели яблоко, и черт с ними…». Однако наряду со страданиями взрослых в мире есть и страдания детей. Ради чего страдают дети? «Но деточки ничего не съели и пока еще ни в чем не виноваты... Слушай: если все должны страдать, чтобы страданием искупить вечную гармонию, то при чем тут дети, скажи мне, пожалуйста? Совсем не понятно, для чего должны страдать и они, и зачем им покупать страданием гармонию?» И в этом месте Иван рассказывает Алеше целый ряд историй, одна ужасней другой, которые как раз и должны показать бессмысленность страданий детей и вместе — неприемлемость установленного Богом мирового порядка. Он рассказывает о том, как турки, опасаясь восстания славян, «отрывая младенцев от материнской груди, бросали их вверх и подхватывали на штык; как они протягивают ребенку пистолет, и когда радостно смеющийся ребенок тянется ручками, чтоб схватить пистолет, тот стреляет и раздробляет ему головку; как один ребенок, играя, запустил как-то камнем и ушиб генеральскую собаку, и как генерал, организовав охоту, велел этому малышу бежать, натравил на него собак, которые растерзали его на части; и как один отец сек свою семилетнюю дочурку, сек минуту, пять минут, причем чем дальше, тем сильнее, и как суд, к большому удовлетворению толпы, этого отца оправдывает». Все эти истории, а их, по словам Ивана, он собрал немало, не дают ему покоя и их подлинность делает невозможным его включение в божеский порядок. «Я хочу видеть своими глазами, — говорит он горько, — как лань ляжет подле льва и как зарезанный встанет и обнимется с убившим его. Я хочу быть тут, когда все вдруг узнают, для чего всё так было. На этом желании зиждутся все религии на земле, а я верую. Но вот, однако же, детки, и что я с ними стану тогда делать? Это вопрос, который я не могу решить. В сотый раз повторяю — вопросов множество, но я взял одних деток, потому что тут неотразимо ясно то, что мне надо сказать». Страдания детей, по мнению Ивана, лучше всего раскрывают бессмысленность мирового порядка. Такой порядок, при котором возможно страдание невинного младенца, не достоин признания. «Да и слишком дорого оценили гармонию, не по карману нашему вовсе столько платить за вход. А потому свой билет на вход спешу возвратить обратно. И если только я честный человек, то обязан возвратить его как можно заранее». Между Иваном и Богом стоит, как нерушимая и непроходимая стена, страдание безвинного младенца. Проблема теодицеи встает здесь во всей своей яркости.
Рассказывая истории страдания детей, Иван спрашивает: «Есть ли во всем мире существо, которое могло бы и имело право простить?» В конце разговора Алеша припоминает этот вопрос: «Ты сказал сейчас: есть ли в мире существо, которое могло бы и имело право простить? Но существо это есть, и оно может всё простить, и всех и вся, потому что само отдало неповинную кровь свою за всех и за все. Ты забыл о нем, а на нем-то и созиждется здание, и это ему воскликнут: прав Ты, Господи, ибо открылись пути твои». На это Иван отвечает: «А, это "единый безгрешный" и его кровь! Нет, не забыл о нем и удивился, напротив, все время, как ты его долго не выводишь, ибо обыкновенно в спорах все ваши его выставляют прежде всего». Но вместо того, чтобы вступить в прямой спор о праве Христа прощать, Иван замечает, что сочинил эту, в самом начале разговора упомянутую поэму, и может ее рассказать. «Ты написал поэму?» — удивляется Алеша. «О нет, не написал, — засмеялся Иван, — и никогда в жизни я не сочинил даже двух стихов. Но я поэму эту выдумал и запомнил. С жаром выдумал. Ты будешь первый мой читатель, то есть слушатель». И именно в этом месте Иван рассказывает легенду «Великий инквизитор».