Цифровой двойник «нечистой силы» посредством машинного обучения

Мы живём в эпоху самого жаркого «лета» искусственного интеллекта (ИИ). Многие модели и алгоритмы ИИ за последнее время уверенно доказывают, что они способны решать сложные задачи не только лучше классических математических алгоритмов, но и даже лучше самого хорошего эксперта-человека в предметной области. Показателен пример недавнего успеха системы AlphaGO Zero (разработка компании Google DeepMind), которая умудрилась примерно за 40 дней научиться играть в древнюю китайскую игру GO не изучая при этом стратегии людей-игроков, и при этом обыграть самых лучших мировых чемпионов. Сложность задачи заключалась ещё и в том, что в игре GO (в отличии от шахмат) сложно выиграть даже если ты просчитал все ходы (что для ИИ не так уж сложно). В ней особую роль играет интуиция, которая до последнего времени не была подвластна интеллектуальным машинам. В основе AlphaGO Zero лежали модели машинного обучения, а именно глубокого обучения с подкреплением (deep reinforcement learning), что, по мнению её разработчиков, и позволило добиться появления у этой системы варианта «интуитивного мышления». Дальше больше, в 2015 году украинским чат-ботом вроде как был пройдён тест Тьюринга (т.е. когда невозможно отличить машину от человека), нейросети научились самостоятельно писать коды, а буквально на днях автономный интеллектуальный дрон нарушил сразу два закона Айзика Азимова, убив человека в Ливии. Кто-то считает, что мы (человечество) сами роем себе могилу. И я хотел бы подкинуть дров в этот разгорающийся пожар.

Проблема условно аутентичных паранормальных явлений в их спорадичности. Это означает, что, если какая-то «нечистая сила» действительно существует как внешний сверхъестественный феномен, мы фактически не имеем достоверных моделей её описывающих, прежде всего в силу непостоянства и случайности её проявлений. Конечно есть огромный багаж фольклора, сказок, религиозных источников, а также различные отчёты исследователей аномальных явлений, но всё это не позволяет нам создать цельную модель нечисти, например, того же «шумного духа». Будет модель, будет возможность предсказывать действия феномена, оценивать влияния на человека и окружающую среду.

Метод обучения с подкреплением позволяет получить приемлемую модель явления или процесса, когда фактических данных может не быть. Например, система AlphaGO Zero не изучала стратегии других игроков в GO (т.е. человеческий опыт), да и вообще какие-то стратегии игры. Ей только задали правила игры и через 40 дней самообучения, она играла лучше всех на планете. В другом примере исследователи Технического университета Эйндховена получили достаточно точную модель прогнозирования электропотребления жилого района, не имея предысторию самого потребления мощности в этом районе. Методом обучения с подкреплением они создали фактически «цифровые двойники» потребителей, имитирующие сам процесс электропотребления, который и учились прогнозировать интеллектуальные агенты. Сейчас в рамках моей научной работы в институте мы разрабатываем цифровой двойник диспетчера на основе обучения с подкреплением, чтобы объединить задачи оперативного и автоматического управления режимами работы энергосистемы.

Полагаю, мы также могли бы попробовать создать аналог жизнеспособного цифрового двойника «нечистой силы» (например, полтергейста) на основе алгоритмов динамической оптимизации и обучения с подкреплением, опираясь лишь на феноменологические описания феномена (что фактически у нас и есть). Но давайте я кратко и очень популярно поясню матчасть.

Обучение с подкреплением – это метод машинного обучения, при котором происходит обучение модели, которая не имеет сведений о системе, но имеет возможность производить какие-либо действия в ней. Действия переводят систему в новое состояние и модель получает от системы некоторое вознаграждение. Представьте, что вы ребенок в гостиной. Вы увидели камин и захотели подойти к нему. Тут тепло, вы хорошо себя чувствуете. Вы понимаете, что огонь – это хорошо. Но потом вы пытаетесь дотронуться до огня и обжигаете руку. Только что вы осознали, что огонь – это хорошо, но только тогда, когда находитесь на достаточном расстоянии, потому что он производит тепло. Если подойти слишком близко к нему, вы обожжетесь. Вот как люди учатся через взаимодействие. Обучение с подкреплением – это фактически вычислительный подход к обучению на основе действий.

Обучение с подкреплением хорошо работает также на примере различных игр, где есть правильные и неправильные действия, а ваша фактическая цель – достичь победы. Идея создания цифрового двойника полтергейста пришла мне в голову, когда я именно вспомнил одну старую компьютерную игру «Haunting» на приставке SEGA. Вы играете за призрака и ваша цель – через различные полтергейстные действия в доме так напугать членов семьи, чтобы они его покинули. Если представить такую модель игры «Haunting» через обучение подкреплением, то функция вознаграждения агента («призрака») заключается в максимизации чувства страха и состоянии стресса всех членов семьи. Чем больше члены семьи пугаются, тем большую награду получает агент. В противном случае, т.е. когда напугать человека не удалось, мы штрафуем агента (отрицательное вознаграждение).

Скрин игры «Haunting».

Формально простейшая модель обучения с подкреплением состоит из: множества состояний среды S; множества действий A, функции вероятности перехода T и множества скалярных «выигрышей» R. В произвольный момент времени t агент характеризуется состоянием s(t) ∈ S и множеством возможных действий a ∈ A(s(t)), он переходит в состояние s(t+1) и получает вознаграждение r(t). Основываясь на таком взаимодействии со средой, агент, обучающийся с подкреплением, должен выработать стратегию, π: S×A→[0,1], где π(s,a) – вероятность выбора действия a ∈ A(s(t)) в состоянии s(t). Данная стратегия максимизирует величину R(t) в марковском процессе принятия решений (МППР).

Марковские процессы названы в честь русского математика Андрея Маркова, и служат математической основой для того, чтобы смоделировать принятие решения в ситуациях, где результаты частично случайны и частично под контролем лица, принимающего решения. В нашей модели агента-полтергейста, среда в которую мы его «заселяем», должно представляться неким многомерным симбиозом пространства помещения (дом, квартира) и психики человека, которое смоделировано как МППР. Если рассмотреть простую модель среды, где есть одна пустая комната с телевизором и человеком, то скажем внезапно разбитый телевизор должен вызывать некое повышенное состояние стресса у человека. Это значит, что состояние s(t) для такой простейшей среды может определиться многомерным вектором [«текущий статус телевизора», «уровень стресса»]. При этом телевизор и уровень стресса человека будут связаны функцией вероятностного перехода T, когда мы можем задать насколько вероятно, что разбитый телевизор сможет испугать человека. Общая модель обучения агента-полтергейста может быть проиллюстрирована рисунком ниже.

Схема создания цифрового двойника полтергейста посредством метода обучения с подкреплением.

Самым сложным будет задать цель обучения нашего агента-полтергейста, т.е. выбрать функцию вознаграждения R(t). Конечно, в простейшем варианте, можно взять «модель страха», как в игре «Haunting». Например, в рассмотренной выше простейшей модели среды «комната с телевизором» доступными действиями агента-полтергейста могут быть: поломка телевизора, стуки в стенах и ничего не делать, т.е. набор a = (a1, a2, а3). Тогда агент будет стараться найти оптимальную стратегию π*(s,a) через комбинацию действий, согласно которой ему удастся наиболее быстро и качественно напугать человека. В основе поиска такой стратегии лежит уравнение Беллмана, которое рекурсивно оценивает текущее действие взвешенной сумм вознаграждений r(t) от всех последующих действий возможных после выполнения текущего действия. В практике исследования феномена полтергейста, ключевой проблемой является именно понимание стратегии поведения «шумного духа», которая до сих пор достоверно неизвестна.

Однако наши исследования указывают, что целевая функция реального полтергейста скорее всего значительно сложнее. Мы полагаем, что конечной целью «шумного духа» может быть не максимизация страха, а дестабилизация сознания и психики его жертв не столько через пугающие происшествия, сколько через абсурдные. Это известный подход, который широко используется тоталитарными сектами для разрушения личности через различные психотехники, чтобы добиться от своих членов безусловной преданности, уменьшения критического мышления. Схожий подход использовала разведка ГДР «Штази» при борьбе с диссидентами в рамках программы Zersetzung («разложение» или «биодеградация»), когда, например, её агенты могли проникать в квартиры жертв, чтобы перевесить картины, сместить мебель, перепутать сорта чая и специи в банках.

Пример «абсурдных» действий агентов Штази в квартире одной из жертв программы Zersetzung.

Поэтому в нашей модели функция вознаграждения R(t) должна включать не только количественные показатели страха и тревожности, но и другие компоненты оценки психики. Вероятно, такие численные многомерные показатели дестабилизации психики можно было бы составить на основе известных шкал страха, тревожности и агрессии, например, MMPI (Миннесотский многоаспектный личностный опросник), CCT (шкала психодиагностики, относится к опасениям, при которых, разнообразные объекты и ситуации являются причиной, вызывающей страхи) и др.

В итоге такой цифровой двойник полтергейста будет представлять собой интеллектуальную программу, которая способна учиться, развиваться и усложняться. Помимо чисто научных целей, можно на её основе создать почти настоящий «беспокойный дом». Например, можно «поселить» такого цифрового полтергейста в умном доме (smart home), где различные устройства объединены в информационную систему посредством Интернета вещей. Здесь агент «шумного духа» получить большую степень свободы воздействия на предметы для реализации своих целей. Таким образом, на основе технологии обучения с подкреплением можно будет создать «нечистую силу» даже если её нет в реальности, на подобии того как сейчас через различные нейроинтерфейсы научились воспроизводить ясновидение и психокинез.

Также по теме

Исторически именно психология стала основной научных исследований полтергейста. Усилия специалистов были сконцентрированы на изучении фокальных лиц: определенных людей, фокусирующих на себя внимание «шумного духа». Выявление их достоверных личностных профилей посредством применения специализированных психологических приемов может дать понимание механизмов запуска и протекания полтергейста. Это стало темой одного из базовых проектов нашего сектора.