Знание, которое ИИ не сможет восстановить сам — чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математическое понятие.
Как заметил Давидсон, если ты веришь, что «бобры» живут в пустынях, что они белого цвета, а взрослые особи весят полтора центнера, то у тебя вообще отсутствуют какие-либо убеждения о бобрах: ложные или правдивые. Твои убеждения о бобрах недостаточно верны, чтобы быть ложными2. Если у тебя нет достаточно опыта, чтобы восстановить убеждение в случае, если оно будет удалено, то есть ли у тебя опыт, позволяющий соединить это убеждение с чем-нибудь вообще? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей, не является частью механизма».
Почти сразу же, когда я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что постоянно спрашивать себя «Как бы я смог восстановить это знание, если оно будет удалено из моего разума?» — это очень хорошая идея.
Чем обширней удаление, тем строже тест. Если удалить доказательства теоремы Пифагора, смогу ли я доказать её заново? Думаю, да. Если удалить всё знание о теореме Пифагора, догадаюсь ли я о ней, чтобы доказать её заново? Сложно поставить такой эксперимент. Однако, если бы мне дали прямоугольный треугольник с длиной сторон 3 и 4 и сказали бы, что гипотенуза вычисляема, думаю, я бы смог её вычислить, при условии, что другие мои знания математики остались при мне.
Как насчёт самого понятия математического доказательства? Если бы мне никто не говорил о нём, мог бы я изобрести его, основываясь на моих оставшихся убеждениях? Ведь когда-то люди не знали о такой идее. Кто-то же её придумал. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и не менее важное? Окажусь ли я способен на оригинальное мышление?
Как много своих знаний ты смог бы восстановить самостоятельно после удаления? Какова допустимая глубина удаления? Это не просто проверка для отсеивания недостаточно связанных убеждений. Такие размышления позволяют впитать целый фонтан знаний, а не всего лишь один факт.
Пастух строит систему учёта овец, которая работает, если добавлять камень в корзину каждый раз, когда овца покидает амбар, и изымать - когда овца возвращается. Если ты, ученик, не понимаешь работу этой системы, если для тебя это магия, которая непонятно почему работает, то ты не поймёшь, что делать, если случайно бросишь лишний камень в корзину. Если ты не можешь что-то создать сам, ты не сможешь это и восстановить, если ситуация этого потребует. Ты не сможешь вернуться к истокам, подправить параметры и заново получить результат, если у тебя нет истоков. Предположим, тебе известен факт «два плюс четыре равно шести».Один из элементов изменяется на «пять». Как ты узнаешь, что «два плюс пять равно семи», когда всё, что ты знаешь: «два плюс четыре равно шести»?
Если ты видишь, как маленькое растение роняет семя каждый раз, когда мимо пролетает птица, ты не догадаешься, что ты можешь использовать эту отчасти автоматизированную систему для подсчёта овец. Если бы первый изобретатель узнал об этом факте, он мог бы его использовать для улучшения своей системы. Однако, ты не в состоянии вернуться к истокам и переизобрести новую систему подсчёта.
Если источник мысли находится внутри тебя самого, то с приобретением новых знаний и навыков мысль может меняться. Она поистине становится частью тебя и растёт вместе с тобой.
Старайся стать источником для всех своих мыслей, стоящих обдумывания. Если мысль первоначально пришла извне, убедись, что она также исходит изнутри. Постоянно спрашивай себя: «Как я восстановлю это знание, если оно исчезнет?» Найдя ответ на этот вопрос, представь, что знание, которое помогло бы тебе в таком случае, тоже удалено. И когда увидишь фонтан - посмотри, что ещё из него течёт.
1.Drew McDermott, «Artificial Intelligence Meets Natural Stupidity», SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.
2.Richard Rorty, «Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion», The Boston Globe (October 2003).
Простая истина
Как-то я писала сочинение об экзистенциализме. Учительница тогда вернула мне его с двойкой. Она подчеркнула слова „истина“ и „истинный“ и поставила знаки вопроса на полях напротив каждого, всего раз 20. Она хотела знать, что я имела в виду под истиной.