Скажи нет «сложности»
Элиезер Юдковский
Однажды…
Эта история произошла во времена, когда я впервые встретил Марчелло, с которым, позже, я буду год работать над теорией ИИ, но на тот момент я еще не принял его в свои ученики. Я знал, что он участвовал в соревнованиях по математике и информатике на национальном уровне, и этого было достаточно, чтобы я захотел присмотреться к нему. Но я еще не знал, сможет ли он научиться думать об ИИ.
Я спросил Марчелло, как, по его мнению, ИИ может разработать способ решения кубика Рубика. Не в смысле написания программы, что довольно тривиально, а открытия законов вселенной Рубика и построения рассуждений об их использовании. Как ИИ изобретет для себя концепты «оператора» или «макро», которые являются ключами для сборки кубика Рубика?
И, в процессе дискуссии, Марчелло сказал: «Ну, ИИ понадобится сложность для того, чтобы сделать Х, и для того, чтобы сделать У…»
И я сказал: «Не говори „сложность“».
Марчелло спросил: «Почему?»
Я ответил: «Сложность не должна быть самоцелью. Возможно, тебе понадобится определенный алгоритм, добавив который, ты увеличишь сложность, но сложность ради сложности лишь усложняет задачу». (Сказав это, я вспомнил о всех тех людях, что рассказывают про Интернет, который, став «достаточно сложным», «проснется» в качестве ИИ).
И Марчелло сказал: «Но должно же быть какое-то количество сложности, которое бы позволяло сделать это».
Я прикрыл глаза и попытался облечь мою мысль в слова. Для меня, говорить «сложность» - делать неправильный пируэт в танце ИИ. Никто не может думать достаточно быстро, осознанно, используя слова для выражения потока сознания, это потребует бесконечной рекурсии. Мы думает словами, но поток нашего сознания протекает ниже уровня слов, посредством выученных остатков озарений прошлого и горького опыта…
Я спросил:
— Ты читал «Техническое объяснение технического объяснения»?
— Да, — ответил Марчелло.
— Ладно! — сказал я. — Говоря «сложность», ты не помогаешь себе сконцентрировать массу вероятности.
— Ох, — сказал Марчелло, — это как с «эмерджентностью», хмх. Так… Теперь мне надо подумать, как Х может случиться по-настоящему.
Тогда я и подумал: «Возможно, это парень обучаем».
Сложность - далеко не бесполезный концепт. Она может быть определена математически, например в виде Колмогоровской сложности или размерности Вапника-Червоненкиса. Даже на интуитивном уровне, сложность стоит того, чтобы рассуждать о ней - тебе надо оценить сложность гипотезы и решить что она «слишком сложна» для имеющегося объема свидетельств или посмотреть на строение и попытаться упростить.
Но концепты сами по себе не становятся полезными или бесполезными. Использование может быть корректным или нет. Движение, которое пытался вплести в танец Марчелло, - попытка объяснения «за просто так», получить что-то в обмен на ничего. Это часто повторяемая ошибка, в моей сфере, как минимум. Можно вступить в дискуссию об Искусственном Интеллекте и наблюдать, как люди наступают на те же грабли тут и там, вновь в вновь, постоянно игнорируя собственное непонимание.
Ты и моргнуть не успеешь, а это уже произошло: проталкивание неконтролируемого причинного узла для чего-то таинственного - причинного узла, который воспринимается как объяснение, но не является таковым. Эта ошибка случается ниже уровня слов. Она не требует какого-то особенного изъяна личности: так устроено человеческое мышление по-умолчанию, так люди рассуждали с древних времен.
Чего тебе следует избегать, так это игнорирования таинственного: ты должен задержаться рядом с тайной и столкнуться с ней напрямую. Есть множество слов, способных «пронести» тайну, и некоторые из них можно вполне обоснованно применять в других контекстах, например, сложность. Но главная ошибка - игнорировать контрабанду таинственного, не замечая причинный узел, скрытый за ней. Контрабанда не является мыслью, а микромыслью. Нужно уделять пристальное внимание, чтобы заметить это. И, натренировав себя в избегании этого, можно превратить умение в инстинкт, ниже уровня слов. Нужно ощущать какие области карты пока пусты и, главное, уделять внимание этому чувству.