Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски Страница 8

19. Себастьян Серфас, Cognitive Biases in the Capital Investment Context: Theoretical Considerations and Empirical Experiments on Violations of Normative Rationality (Springer, 2010).

20. Чжуан-цзы и Бертон Уотсон, The Complete Works of Zhuangzi (Columbia University Press, 1968).

21. Касс Р. Санстейн, «Probability Neglect: Emotions, Worst Cases, and Law», Yale Law Journal (2002): 61–107.

22. Дэн Ариели, Predictably Irrational: The Hidden Forces That Shape Our Decisions (HarperCollins, 2008).

23. Боаз Кейсар и Дейл Дж. Барр, «Self-Anchoring in Conversation: Why Language Users Do Not Do What They ‘Should’», в Heuristics and Biases: The Psychology of Intuitive Judgment, под ред. Томаса Гиловича, Дейла Гриффина и Даниэля Канемана (New York: Cambridge University Press, 2002), 150–166, doi:10.2277/0521796792.

24. Скотт Эйдельман и Кристиан С. Крэндалл, «Bias in Favor of the Status Quo», Social and Personality Psychology Compass 6, no. 3 (2012): 270–281.

25. Эрик Луис Ульман и Джеффри Л. Коэн, «“I think it, therefore it’s true”: Effects of Self-perceived Objectivity on Hiring Discrimination», Organizational Behavior and Human Decision Processes 104, no. 2 (2007): 207–223.

26. Эмили Пронин, «How We See Ourselves and How We See Others», Science 320 (2008): 1177–1180, http://psych.princeton.edu/psychology/research/pronin/pubs/2008%20Self%20and%20Other.pdf.

27. Эмили Пронин, Даниэль И. Лин и Ли Росс, «The Bias Blind Spot: Perceptions of Bias in Self versus Others», Personality and Social Psychology Bulletin 28, no. 3 (2002): 369–381.

Книга I. Карта и территория. А. Предсказуемо неправы. 1. Что я понимаю под «рациональностью»? 2. Ощущение рациональности.

3. Зачем нужна истина? И...

4. ...и что вообще такое искажение?

5. Доступность

6. Отягощающие подробности

7. Ошибка планирования

8. Иллюзия прозрачности: почему вас никто не понимает

9. Ожидание коротких дистанций вывода

10. Линза, которая видит свои изъяны

B. Имитация убеждений

11. Заставляя убеждения платить за аренду (ожидаемым опытом)

12. Притча о науке и политике

13. Вера в веру

14. Байесовское дзюдо

15. Изображая мудрость

16. Претензия религии на неопровержимость

17. Исповедание и поддержка

18. Убеждение как одежда

19. Табло «Аплодисменты»

C. Замечая замешательство

20. Сфокусируйте свою неопределенность

21. Что такое свидетельство?

22. Научные, юридические и рациональные свидетельства

23. Сколько нужно свидетельств?

24. Высокомерие Эйнштейна

25. Бритва Оккама

26. Ваша сила как рационалиста

27. Отсутствие свидетельств есть свидетельство отсутствия

28. Закон сохранения ожидаемых свидетельств

29. Послезнание обесценивает науку

D. Таинственные ответы

30. Фиктивные объяснения

31. Угадывание пароля учителя

32. Наука как одежда

33. Имитация причинности

34. Семантические стоп-сигналы

35. Таинственные ответы на таинственные вопросы

36. Тщетность эмерджентности

37. Не говорите «сложность»

38. Положительное искажение: загляните во тьму

39. Закономерная неопределенность

40. Моя бурная и безрассудная молодость

41. Неспособность учиться у истории

42. Делая историю доступной

43. Объяснить/поклоняться/игнорировать?

44. «Наука» как стопор любопытства

45. По-настоящему часть вас

Интерлюдия: Простая истина

Часть А. Предсказуемо неправы.

Что я понимаю под «рациональностью»? Я имею в виду: Эпистемическая рациональность: систематическое повышение точности ваших убеждений. Инструментальная рациональность: систематическая реализация ваших ценностей.

Когда вы открываете глаза и осматриваете комнату вокруг, вы определяете положение своего ноутбука относительно стола, а книжного шкафа — относительно стены. Если с вашими глазами или мозгом что-то пойдет не так, ваша ментальная модель может показать книжный шкаф там, где его нет, и когда вы подойдете, чтобы взять книгу, вас постигнет разочарование.

Вот что значит иметь ложное убеждение — карту мира, не соответствующую территории. Эпистемическая рациональность как раз и заключается в построении точных карт. Такое соответствие между убеждением и реальностью обычно называют «истиной», и я охотно буду использовать это слово.

Инструментальная рациональность, с другой стороны, заключается в управлении реальностью — в том, чтобы подталкивать будущее туда, куда вы хотите. Это искусство выбора действий, которые ведут к результатам, занимающим более высокие места в вашей системе предпочтений. Иногда я называю это «победой».

Таким образом, рациональность — это формирование истинных убеждений и принятие выигрышных решений.

Стремление к «истине» в данном случае не означает отказ от неочевидных или косвенных доказательств. Взгляд на комнату вокруг вас и построение её ментальной карты в принципе ничем не отличаются от веры в то, что у Земли расплавленное ядро или что Юлий Цезарь был лысым. Эти вопросы, будучи удалёнными от вас в пространстве и времени, могут казаться более эфемерными и абстрактными, чем вопросы о вашем книжном шкафу. Тем не менее, существуют объективные факты о состоянии земного ядра в 2015 году нашей эры и о состоянии головы Цезаря в 50 году до нашей эры. Эти факты могут оказывать на вас реальное влияние, даже если вы никогда не найдёте способа встретиться с Цезарем или ядром лицом к лицу.

И «победа» здесь вовсе не обязательно должна достигаться за счёт других. Жизненный путь может быть посвящён сотрудничеству или самопожертвованию, а не соперничеству. «Ваши ценности» здесь означают всё, что вам небезразлично, включая других людей. Они не ограничиваются эгоистичными или неразделяемыми ценностями.

Когда люди говорят: «X рационально!», обычно это просто более резкий способ сказать: «Я думаю, что X истинно» или «Я думаю, что X хорошо». Зачем же тогда нужно отдельное слово «рациональный», помимо «истинного» и «хорошего»?

Аналогичный аргумент можно привести и против использования слова «истинно». Нет нужды говорить «истинно, что снег белый», когда можно просто сказать «снег белый». Полезность идеи истины заключается в том, что она позволяет нам рассуждать об общих свойствах соответствия карты и территории. Утверждение «Истинные модели обычно дают лучшие экспериментальные прогнозы, чем ложные» — полезное обобщение, и его невозможно сформулировать без использования таких понятий, как «истинный» или «точный».

Точно так же мысль «Рациональные агенты принимают решения, максимизирующие математическое ожидание согласованной функции полезности» опирается на концепцию (инструментальной) рациональности, тогда как фразу «Рационально есть овощи», пожалуй, можно заменить на «Полезно есть овощи» или «В ваших интересах есть овощи». Нам