?

Log in

Rationality: From AI to Zombies - Олег Етеревский [entries|archive|friends|userinfo]
Oleg Eterevsky

[ userinfo | livejournal userinfo ]
[ archive | journal archive ]

Rationality: From AI to Zombies [19 July 2016|19:17]
Oleg Eterevsky
Книги довольно сложно оценивать и сравнивать между собой. Какие-то книги мы ценим за их литературные качества, какие-то — за их увлекательность, какие-то — за идеи, которые они содержат. Для меня есть одна категория книг, стоящая особняком. Это книги, которые каждому стоит прочитать.

Эта оценка не совсем совпадает с "лучшими книгами всех времён". К примеру, мне кажется, что "Братья Карамазовы" и "Сто лет одиночества" — это прекрасные книги, но я не уверен, что каждый человек должен незамедлительно их скачать, и не отрываться от своего Киндла, пока не закончит последнюю страницу. С другой стороны, и книги, которые каждому стоит прочитать, не обязаны быть идеальными. Их язык может не соответствовать всем канонам, и они не обязаны быть увлекательны как "Властелин колец".

Для меня в эту категорию попадает не так много произведений. Первая из таких книг, приходящая на ум — "Вы конечно шутите, мистер Фейнман" ("Surely You're Joking, Mr. Feynman"). Это книга, которая рассказыват нам о том, как мы учимся, и чем настоящее знание отличается от фальшивки. Кроме этой книги, мне кажется, каждому стоит прочесть "1984" и "Animal Farm" Джорджа Оруэлла, чтобы осознать самые большие опасности государственного строя, а также, по разным причинам, "A Player of Games", "Flowers for Algernon", "Catch-22" и возможно ещё пару книг.

Книга, которую я сейчас читаю, называется "Rationality: From AI to Zombies", написана американским специалистом по искусственном интеллекту Элиезером Юдковским, и прочно попадает в описанный выше список.

Юдковский -- американский исследователь в области AI, трансгуманист, автор нескольких книг, основатель коммьюнити LessWrong и Machine Intelligence Research Institute. Но эта его книга почти не затрагивает вопросы AI, сингулярности и прочей футурологии, а посвящена рациональности. Причина, по которой я без колебания рекомендую каждому её прочесть похожа на ту, по которой я рекомендую "Вы конечно шутите, мистер Фейнман". Эта книга про то, как мы думаем, и как рационально искать истину и принимать решения.

Книга собрана из отдельных статей, написанных для сайтов OvercomingBias.com и LessWrong. Статьи связаны между собой достаточно слабо, и читать их можно практически независимо друг от друга. Многие из них посвящены различным когнитивным искажениям (cognitive biases) -- ошибкам в рассуждениях, которые мы часто делаем. Есть разделы, посвящённые более прикладным вещам, типа политики, науки, теории эволюции и т.д. Во многих вопросах он не доказывает какую-то свою точку зрения, а лишь указывает на распространённые ошибки и предлагает способы их избежать.

Может показаться, что написать что-то новое про рациональность в наши дни трудно -- о ней же писал ещё Аристотель. Но у Юдковского (как и у нас с вами) есть важное преимущество перед Аристотелем, Кантом, и даже Расселом с Виттгенштейном. Современная мат. статистика и в особенности байесовская теория вероятности, разработанная в середине 20-го века, дают возможность количественно отвечать на вопросы о вероятности истинности любых утверждений.

Предлагаю всем минуту помедитировать над словосочетаниями "вероятность существования Бога" или "вероятность того, что Путин управляет страной лучше, чем управлял бы Навальный". Для большинства людей обе вероятности не имеют смысла -- как будто они в точности равны 0 или 1. Но в реальном мире это не так. Впрочем, есть и противоположная ошибка: "раз мы не знаем ничего в точности, то я могу верить в то, что захочу". Вероятность 50% это не то же самое, что 10-50%.

Для Юдковского Байесовская теория вероятности и индукция Соломонова являются основами для рациональности. Конечно, в реальности мы почти никогда не можем вычислить точные вероятности событий (хотя Нэйт Сильвер успешно это делает для выборов и спортивных матчей), но само понимание, что эти вероятности существуют, может подтолкнуть нас к правильному способу рассуждений.

В заключение про то, где можно всё это прочитать. В виде отдельных статей книга лежит на LessWrong. Также она доступна для Киндла и в прочих ebook-форматах, а также как подкасты на Castify.
LinkReply

Comments:
From: p_a_s_h_a
2016-07-19 05:47 pm (UTC)
(В основном к уважаемым читателям)
А если вам хочется почитать на эту же тему что попроще,
идите на сайт, ссылка на который будет в следующем комментарии, и читайте те же идеи на русском и... в виде фанфика к Гарри Поттеру!
Элиезер Юдковский. "Гарри Поттер и методы рациональности"
(Reply) (Thread)
From: p_a_s_h_a
2016-07-19 05:48 pm (UTC)
Команда переводчиков дают название как
"Гарри Поттер и методы рационального мышления"
hpmor.ru
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-07-19 05:48 pm (UTC)
Хотел ведь упомянуть эту книжку в посте, но забыл.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-24 12:56 pm (UTC)
Это мое личное мнение, но в "Рациональном Поттере" очень сильное начало, но где-то после 30 главы начинается откровенная хрень и под конец книга становится "мракобесной".

"...Юдковский -- американский исследователь в области AI..." - не могу с этим согласиться. Юдковский человек, который не разрабатывает ИИ, а зарабатывает тем, что пишет на тему ИИ

Edited at 2016-08-24 12:59 pm (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-08-24 01:14 pm (UTC)
> Это мое личное мнение, но в "Рациональном Поттере" очень сильное начало, но где-то после 30 главы начинается откровенная хрень и под конец книга становится "мракобесной".

Я его, увы не читал, так что не знаю. А в чём заключается "мракобесие"?

> "...Юдковский -- американский исследователь в области AI..." - не могу с этим согласиться. Юдковский человек, который не разрабатывает ИИ, а зарабатывает тем, что пишет на тему ИИ

Ну как сказать. Насколько мне известно, MIRI, в котором он работает, занимается именно самой по себе разработкой ИИ, а не лирикой.

Плюс к тому, его, так сказать, просветительская деятельность имеет прямое отношение к ИИ, который он хочет разработать. А именно, с его точки зрения, "правильный" ИИ должен основываться на байесовских сетях, то есть принцип его работы будет связан с принятием рациональных решений.

У этого подхода есть плюсы и минусы. Главный минус состоит в том, что прогресс в этой области довольно медленен, и основные достижения современного ИИ происходят из ML, который к этому абсолютно ортогонален. С другой стороны, это не значит, что в принципе не может случиться какого-то прорыва в ИИ на байесовских сетях. Главный плюс состоит в том, что мы хорошо понимаем как работает байесовский вывод, и он является теоретически оптимальным способом установления истины и принятия решений.

На мой личный взгляд, хороший ИИ будет заключать в себе синтез ML для низкоуровневых задач типа распознавания образов и грамматических структур языка, и какой-то логической или байесовской системы для принятия решений и установления истины.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-24 01:28 pm (UTC)
- "Рационального Поттера" очень стоит начать читать, но также нужно и вовремя остановится (это где-то 40 глава).

- Мракобесие проявляется в полном отходе от принципа рациональности где-то в середине книге. Такое ощущение, что автор в процессе ее написания изменил свое мировоззрение на 180 градусов.

- Я не видел серьезных работ с математикой и программной реализацией в области ИИ за авторством Юдковского. Популяризацию и философские рассуждения видел - научных работ - нет. Возможно, что я о них не знаю, был бы признателен если бы Вы дали на них ссылки.

Байесовские сети - это не единственный формализм, на котором пытаются строить прикладные системы м какой в конечном итоге станет доминирующем покажет время. Кстати, как в байесовские сети выразить смысл фразы "Вася пошел ловить рыбу"?


Edited at 2016-08-24 01:34 pm (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-08-24 01:40 pm (UTC)
> - "Рационального Поттера" очень стоит начать читать, но также нужно и вовремя остановится (это где-то 40 глава).

Вы меня заингриговали.

> Я не видел серьезных работ с математикой и программной реализацией в области ИИ за авторством Юдковского.

Я тоже. Но вот список публикаций MIRI. Согласен, примерно половина там про психологию, этику, теорию игр и прочие соседние дисциплины.

> Байесовские сети - это не единственный формализм, на котором пытаются строить прикладные системы м какой в конечном итоге станет доминирующем покажет время.

Да, я поэтому и написал про "какую-то логическую или байесовскую систему".
(Reply) (Parent) (Thread)
[User Picture]From: bik_top
2016-08-24 06:19 pm (UTC)

Рациональный Поттер

> "Рационального Поттера" очень стоит начать читать, но также нужно и вовремя остановится (это где-то 40 глава).

Выражаю согласие с этим оратором.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-25 01:39 pm (UTC)
Олег, я может что-то не понимаю, но поему Марковские процессы уже содержат в себе Байесовские сети и очень хорошо изучены. Пока ИИ исключительно на основе цепей Маркова получается что-то не очень (как дополнительный инструмент может быть). Существуют подходы и формализмы, которые уже содержат в себе возможность для вероятностных и размытых рассуждений). Возможно, что я что-то пропустил - Вы можете набросать ссылок на примеры реализаций ИИ с исключительно на базе Байесовских сетей?

Ваш интерес к ИИ это профессия или хобби?

Edited at 2016-08-25 01:44 pm (UTC)
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-08-25 02:13 pm (UTC)
> Ваш интерес к ИИ это профессия или хобби?

50/50. Я математик по образованию и сейчас работаю в Гугле над Google Assistant. Там есть немало machine learning, но до general AI там очень далеко и даже задачи такой не стоит. Поэтому вещи типа классификаторов и регрессий я понимаю неплохо, а мои представления о вещах типа decision networks несколько более дилетантские.

На мой (дилетантский) взгляд, марковские модели -- это частный случай байесовских сетей, описывающих процессы. Мы делаем конкретные предположения по поводу того, что от чего зависит и рассчитываем байесовские вероятности. Разве это не так?

Про то, насколько они применимы к AI я уже написал выше. По-моему, на одних байесовских сетях его не сделать, нужна ML-магия в нужных местах. Но и одного ML скорее всего недостаточно, чтобы сделать хороший AI, а если и достаточно, то никто не будет понимать, как он работает.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-26 12:35 pm (UTC)
По поводу "твердого"/"мягкого" все-таки нужно будет написать отдельный пост (закончу работу - напишу) - есть просто ИИ :)

Что касается Марковских (включая скрытые) моделей, то и там так же расписываем, что от чего зависит и вычисляем условные вероятности, но там возможны циклы. Ну да ладно, не будем об этом. Просто я не очень вижу, как с помощью байесовских сетей сделать систему, которая скажем, зная об аксиомах поля R2, сможет вывести алгоритм решения системы линейных уравнений в общем виде. Хотя возможно, что уже нашлись умельцы - хотелось бы с ними познакомиться.

Олег, как в Google Assistant результат распознавания речи зависит от длины фразы?



(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-08-26 02:21 pm (UTC)
> По поводу "твердого"/"мягкого" все-таки нужно будет написать отдельный пост (закончу работу - напишу) - есть просто ИИ :)

Есть разные типы ИИ. Как минимум, есть optimizer, есть satisfier. В задачах, где нужно не просто выдать результат, а что-то делать (AlphaGo, self-driving car), приходится использовать комбинацию ML с какими-то стратегиями немного другого уровня.

И да, я читал Бострома на счёт того, что граница между разными видами ИИ не настолько определённая как кажется на первый взгляд.

> аксиомах поля R2

[nitpicking mode on] R2 -- это не поле, а линейное пространство, и аксиом у него нету, так как это производная конструкция.

> алгоритм решения системы линейных уравнений в общем виде

У нас в принципе нет сейчас решения для этой задачи, кроме полного перебора алгоритмов. Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария.

> Олег, как в Google Assistant результат распознавания речи зависит от длины фразы?

Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-29 06:18 am (UTC)
Всегда приятно иметь дело с математиком, который не допускает вольности в определениях, но я инженер - мне главное работающий результат (по поводу отсутствия аксиом для линейного пространства - я озадачен, ну да ладно).

"...Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше..." - Вы контекст используете?

"...Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария..." - это очень интересно, почему бы написать об этом не в комментариях, а допустим в отдельном посте?
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-08-29 10:45 am (UTC)
> (по поводу отсутствия аксиом для линейного пространства - я озадачен, ну да ладно).

Я имею в виду, что R2, как и большинство прочих математических конструкций строится в обычной аксиоматике теории множеств, либо аксиоматике натуральных чисел. Для них не нужно отдельной теории.

> "...Я не знаю точного ответа, но по идее для более длинных фраз распознавание должно работать лучше..." - Вы контекст используете?

Да, конечно.

> "...Я мог бы поспекулировать как это будет когда-нибудь работать, но во-первых, это будет наполовину гадание на кофейной гуще, а во-вторых, это слишком большая тема для комментария..." - это очень интересно, почему бы написать об этом не в комментариях, а допустим в отдельном посте?

Для отдельного поста у меня нет достаточно хорошего понимания предмета, чтобы об этом писать.

Интуитивно, мне кажется, главная проблема в создании автоматического доказывателя теорем в определении "важности". В ходе любого математического рассуждения мы вводим новые определения и доказываем промежуточные утверждения. Ключевое искусство, которое для этого необходимо, и которое сложно описать в программе -- это отделение полезных/важных определений и утверждений от бесполезных.

К примеру, я могу взять все числа, которые делятся на 17 и дают остаток 127 от деления на 239 и назвать их множество XYZ. Это формально корректное определение, описывающее некоторое множество чисел. Но будет ли такое определение полезно? Стоит ли доказывать про это множество какие-то утверждения? Скорее всего нет, так как это множество принципиально не отличается от любого другого множества чисел S, дающих остаток a от деления на одно простое число p, и остаток b от деления на другое число q. Про множество XYZ очень сложно придумать содержательное утверждение, которое бы не было частным случаем утверждения про множество S.

Вторая задача -- это отделение содержательных утверждений от бессодержательных.

Возьмём, к примеру, опять множество чисел S, сравнимых с a (mod p) и b (mod q). Я могу сформулировать про эти числа два разных утверждения:

1. Если p ≠ q, то таких чисел бесконечно много.

2. Если в этом множестве есть хотя бы одно чётное число, то это множество непусто.

Оба этих утверждений верны, но первое гораздо содержательнее и полезнее второго.

Возвращаясь к изначальному вопросу, если у нас будут хорошие алгоритмы для того, чтобы отличать содержательные определения и утверждения от менее содержательных, задача автоматического поиска доказательств почти наверняка решена. Достаточно просто начать генерировать доказательства содержательных утверждений про объекты из условия, и подождать, пока мы не сгенерируем наше утверждения.

Какой из известных нам методов ML и AI может в этом помочь? Я, честно говоря, не знаю. Возможно, мы ещё не изобрели подходящего метода для этой задачи.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-29 12:06 pm (UTC)
Спасибо за подробный рассказ. Я понял направление Ваших мыслей, но здесь в свете "...Возвращаясь к изначальному вопросу, если у нас будут хорошие алгоритмы для того, чтобы отличать содержательные определения и утверждения от менее содержательных ... " - возникает (ехидный) вопрос - а такие алгоритмы будут найдены? Вы знаете подходы к этой проблеме?

И здесь мне хочется вернуться к этому месту "...Вы контекст используете?

Да, конечно..." - а как Вы его используете?

Олег, у Вас есть публикации, я бы с удовольствием почитал Ваши идеи, про отделение "важного" от "не важного"
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-08-29 12:27 pm (UTC)
> а такие алгоритмы будут найдены? Вы знаете подходы к этой проблеме?

Увы, нет. :) Я же обещал гадание на кофейной гуще, а не работающий алгоритм.

> И здесь мне хочется вернуться к этому месту "...Вы контекст используете?
> Да, конечно..." - а как Вы его используете?

Увы, не могу рассказать. Во-первых, потому что сам в подробностях не знаю, а во-вторых, потому я уверен, что это не открытая информация.

> Олег, у Вас есть публикации, я бы с удовольствием почитал Ваши идеи, про отделение "важного" от "не важного"

К сожалению нет. И в любом случае, это так, рассуждения в комментариях к посту в ЖЖ, а не серьёзное исследование.
(Reply) (Parent) (Thread)
[User Picture]From: bvn_mai
2016-08-29 12:37 pm (UTC)
Нередко обсуждение в ЖЖ выливается в серьезное исследование. Ладно, пошел думать, как "генерить" в машине вывода только важные ветви.
:)
(Reply) (Parent) (Thread)
From: shannar
2016-12-15 06:37 pm (UTC)
= Вы меня заингриговали. =

Как по мне, HPMoR можно читать и дальше. Там небольшой спад будет, но в середине и в конце всё становится существенно лучше (и трансгуманистичней, хех).
(Reply) (Parent) (Thread)
[User Picture]From: eterevsky
2016-12-15 06:59 pm (UTC)
Я уже дочитал и мне понравилось. Вначала акцент делается на более простых темах типа научного метода, а во второй половине -- на более спорных и эфемерных вещах типа этики.
(Reply) (Parent) (Thread)
From: shannar
2016-12-15 07:04 pm (UTC)
ОК.

Могу со своей стороны ещё посоветовать забавный и короткий «эпилог»: https://www.fanfiction.net/s/11293489/1/A-Crack-Slash-Epilogue
(Reply) (Parent) (Thread)
[User Picture]From: ted_dy
2016-07-19 06:14 pm (UTC)
Спасибо! ))
почитаем))
(Reply) (Thread)
[User Picture]From: nikolenko
2016-07-19 11:02 pm (UTC)
Да, это всё очень крутые тексты.
(Reply) (Thread)
[User Picture]From: bik_top
2016-07-20 12:26 am (UTC)

Bayes' rule: Guide

> Для Юдковского Байесовская теория вероятности и индукция Соломонова являются основами для рациональности.

See also (за его же, как я понял, авторством): https://arbital.com/p/bayes_rule/?l=1zq
(Reply) (Thread)
[User Picture]From: bik_top
2016-07-20 06:33 am (UTC)
> успешно это делает для выборов и спортивных матчей

Ссылка в этой фразе ведёт на главную страницу http://fivethirtyeight.com . Может, имелась в виду какая-то конкретная статья?
(Reply) (Thread)
[User Picture]From: eterevsky
2016-07-20 07:11 am (UTC)
Я дал ссылку на его сайт, потому что он постоянно публикует прогнозы на текущие события. Если хочется достижений, то вот, к примеру, на президентских выборах 2012-го года он правильно предсказал исход голосования во всех 50-и штатах.
(Reply) (Parent) (Thread)