5 правил управления непредвиденными последствиями Искусственного Интеллекта. Часть 2

 

В прошлой статье мы затронули интересную и важную тему, которая касается всех представителей бизнеса. Предлагаем вам рассмотреть пять правил, которых должны придерживаться руководители при внедрении RL-агентов в реализацию своей стратегии. 

Чтобы проиллюстрировать, как агент в финансовых услугах может изменить поведение человека в худшую сторону, а так же как, при правильной настройке, он может помочь предотвратить проблему — мы покажем на примере. 

  1. Предположите, что ваш агент RL будет влиять на поведение непредвиденными способами. Допустим, компания создала агента для ускорения проверки качества бухгалтерских транзакций. Притом, отмечая потенциальные ошибки, которые алгоритм оценил как высоко рискованные, и ставя их в очередь на оценку аналитиком. 

Значительно сократив общее количество ошибок, которые аналитикам необходимо было проверить, алгоритм существенно сократил время проверки. Но мы были удивлены, увидев подозрительно быстрое время рассмотрения даже самых сложных ошибок. Это должно было занять у аналитиков больше времени, а не меньше. Такая ситуация не могла не насторожить.

  1. Систематически оценивать отклонения от ожидаемого. На сегодняшний день немногие компании оценивают, как их RL-агенты влияют на поведение людей. Начните с того, что регулярно запрашивайте у своих специалистов по обработке данных данные об изменениях в поведении, которые могут быть связаны с деятельностью агентов. Если вы увидите отклонение от ожидаемого, копните глубже. 
  2. Опросите пользователей, клиентов или других людей об их реакции на результаты работы агентов RL. Хотя те, на кого направлены действия агента RL, могут не знать, что на них влияет ИИ, вы все равно можете оценить их реакцию. Вернемся к ситуации с быстрым анализированием ошибок. 

Оказалось, что большинство сотрудников ошибочно полагали, что агент выполняет большую часть работы по обеспечению качества этих ошибок, чем это было на самом деле. Сотрудники слишком полагались на опыт агента. 

Кстати, такое чрезмерное доверие к ИИ — одна из причин, по которой люди допускают ошибки ИИ. Они полагают, что ИИ более способен чем люди, и передают ему слишком много прав.

  1. Если агент поощряет нежелательное поведение, измените его политику. Чтобы оптимизировать стремление агентов к получению прибыли, большинство команд ИИ постоянно корректируют политику агентов, изменяя пары состояние-действие. 
  2. Если нежелательное поведение сохраняется, измените функцию прибыли. Корректировка пар состояние-действие агента часто может сдержать нежелательное поведение, но не всегда. Когда другие меры не помогают, измените цель агента. 

Выводы

Давать агенту искусственного интеллекта цель увеличение просмотров любыми средствами, включая использование уязвимых аспектов психики человека, опасно и неэтично. В случае с социальными платформами, возможно, есть способ скорректировать пары состояние-действие агентов, чтобы уменьшить этот вред. 

Хотя в случае с социальными сетями это может показаться радикальным решением, но оно, казалось бы, витает в воздухе. После решения Совета по надзору Facebook поддержать запрет компании на посещение сайта бывшим президентом Трампом за нарушение правил, Фрэнк Паллоне — председатель Комитета по энергетике и торговле Палаты представителей, написал в Твиттере: 

— Дональд Трамп сыграл большую роль в помощи Facebook в распространении дезинформации, но независимо от того, есть он на платформе или нет, Facebook и другие социальные медиа-платформы с такой же бизнес-моделью найдут способы выделить контент, вызывающий разногласия, чтобы увеличить доходы от рекламы. 

Надзорный совет сам обратил внимание на бизнес-модель Facebook, посоветовав компании провести всесторонний обзор потенциального вклада в повествование о фальсификации выборов и обострении напряженности, которые вылились в насилие в США. Это должен быть открытый анализ дизайна и политического выбора, сделанного Facebook, который позволяет злоупотреблять его платформой. Согласитесь, есть о чем задуматься и не только платформам социальных сетей. 

Комментарии

  1. Особенность RL в том, что можно пробовать разные действия, делать вывод об их успешности, накапливать полученные знания и использовать их при следующем выборе. И так много раз. Итеративный процесс обучения, в котором алгоритм самостоятельно исследует среду, — одно из главных отличий RL.

  2. Все, что мы ценим в нашей цивилизации – продукт разума. Усиливая человеческий разум технологиями искусственного интеллекта, мы приобретаем потенциал для небывалого расцвета цивилизации. Важно, однако, чтобы технологии были безопасными и служили на благо человека

  3. Я считаю что это отличное решение ведь несмотря на то, что Reinforcement Learning уступает в популярности традиционным методам ML, RL может быть отличным решением, если есть необходимость поддерживать автоматическую дообучаемость системы или полностью обучить систему с нуля.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *