Почему системы искусственного интеллекта вызывают галлюцинации
Сегодня искусственный интеллект (ИИ) работает в виде виртуальных помощников, устройств для умного дома, медицинской диагностики и самоуправляемых автомобилей. Тем не менее, при развитии этой важнейшей технологии возникает проблема, поскольку она вызывает так называемые «галлюцинации искусственного интеллекта».
Почему системы искусственного интеллекта вызывают галлюцинации?
Проще говоря, галлюцинации искусственного интеллекта — это случаи, когда системы искусственного интеллекта генерируют или выводят неверную информацию, которой не было во время сбора обучающих данных. С другой стороны, неспособность устранить галлюцинации искусственного интеллекта может привести к таким проблемам, как распространение ложных сведений и вынесение необъективных суждений, что влечет за собой как экономические проблемы, так и проблемы безопасности. Мы расскажем, почему системы искусственного интеллекта галлюцинируют, каковы причины этого явления и как его предотвратить.
Галлюцинации в системах искусственного интеллекта могут возникать, когда большая языковая модель способна наблюдать признаки или объекты, которые никогда не видели и вообще не существовали. Это заставляет ее генерировать неверную выходную информацию, которая не имеет смысла в реальной жизни, но в некоторых случаях основана на паттернах/объектах, воспринимаемых ею самой.
Другими словами, системы искусственного интеллекта галлюцинируют, когда модели делают ложные заявления или зависят от тривиальных шаблонов и предрассудков в обучающих данных, чтобы выдать или защитить противоречивые ответы, но это происходит на более высоком уровне сложности.
Причины галлюцинаций искусственного интеллекта
Существует несколько основных причин, по которым системы искусственного интеллекта вызывают галлюцинации:
Предвзятость данных
Отсутствующие данные и/или неполные или содержащие предвзятые/предрассудочные элементы образцы обучающих данных приводятся большинством моделей, поскольку у искусственного интеллекта нет возможности оценить их справедливость или предвзятость.
Например, бывали случаи, когда алгоритмы распознавания лиц не могли распознать небелые лица — это было связано с обучающими наборами данных, которые были составлены на основе таких предубеждений.
Чрезмерная подгонка
Избыток информации в базе данных — еще одна причина, по которой системы искусственного интеллекта галлюцинируют. Некоторые из проблем, связанных с идентифицированными нейронными сетями, заключаются в том, что, обучаясь на основе паттернов в ограниченном наборе данных, они могут скорее «запоминать» или «подгонять» слишком шумные паттерны. Это, в свою очередь, повышает вероятность возникновения галлюцинаций при воздействии на них входных сигналов, отличных от тех, с которыми они сталкивались во время обучения.
Накопление ошибок
Небольшие ошибки или шумы во входных данных будут усиливаться при их иерархической обработке, а в больших трансформаторных моделях с несколькими миллиардами параметров, например, это может привести к генерации искаженных или даже сфабрикованных выходных данных.
Петли обратной связи
Проблема галлюцинаций может даже усугубиться в самоконтролируемых системах, если ее не устранить. Например, искусственный интеллект может создать фотографию на основе нейронной сети, а глубокий фейк может заставить другой искусственный интеллект поверить в то, что информация реальна.
Возможный вред от галлюцинаций искусственного интеллекта
Галлюцинации искусственного интеллекта представляют собой серьезную проблему. Если не принять меры, то можно ожидать следующих случаев:
Дезинформация
Недостаток правдивости в сочетании с поддельной природой искусственного интеллекта ботов означает, что поддельная статистика и дезинформация могут стать вирусными и исказить способность людей находить достоверные данные. Это вызывает серьезную обеспокоенность, если системы используются в журналистике, образовании или в сфере разработки государственной политики.
Нарушение конфиденциальности
Чувствительные частные данные о людях, за которыми никто не наблюдал, могут серьезно нарушить неприкосновенность частной жизни и подорвать доверие, если такие системы будут применяться для решения соответствующих задач, например в здравоохранении, правоохранительных органах и т. д.
Вред для маргинализированных групп
Как уже отмечалось ранее, в наборах данных искусственного интеллекта предвзятость отбора, как говорят, дискриминирует социально незащищенные группы и превращает социальную справедливость в еще большую проблему.
Угрозы безопасности
Галлюцинации искусственного интеллекта содержат дезинформацию о примечаниях или руководствах на самодвижущихся автомобилях или медицинских диагностических аппаратах, что может привести к авариям, травмам или неверным медицинским решениям, поскольку такие системы искусственного интеллекта зависят от несовершенной информации.
Экономические издержки
Отсутствие инноваций и роста от использования галлюцинаторного искусственного интеллекта для множества объектов и предоставления услуг может привести к потере доверия клиентов, а также к снижению стоимости связанных с ними организаций и объектов. Присвоить осязаемую цифру этим издержкам не всегда возможно, но опасность слишком велика.
Предотвращение галлюцинаций искусственного интеллекта
Вот проактивные шаги исследователей по предотвращению галлюцинаций искусственного интеллекта:
Широкий спектр непредвзятых данных
Сбор обучающих данных, не содержащих предубеждений или предпочтений одной части общества перед другой, помогает искусственному интеллекту хорошо обучиться. Публичные базы данных должны быть очищены и проверены на достоверность, чтобы предотвратить распространение фальшивых данных.
Предварительная обработка данных
Такие меры, как удаление вопиющих наблюдений, анонимизация данных, уменьшение числа признаков и т. д., могут помочь устранить шум и нежелательные закономерности из данных перед подачей их в систему.
Оценка модели
Системы искусственного интеллекта должны подвергаться постоянной проверке с использованием новых наборов данных, тщательно разработанных для выявления новых галлюцинаций.
Мониторинг модели
Чтобы учесть нежелательную реакцию искусственного интеллекта, такие механизмы, как карточки моделей или ведомости данных, позволяют фиксировать поведение искусственного интеллекта в течение определенного времени.
Объяснимый искусственный интеллект
Используя такие методики, как карты внимания и значения SHAP, можно понять, почему модели дали именно такой ответ, а также провести простой анализ на основе признаков, совместимых с паттернами по сравнению со случайными паттернами.
Консервативное развертывание
Системы искусственного интеллекта должны быть ограничены конкретными областями и использоваться ограниченно и под контролем человека до тех пор, пока искусственный интеллект не докажет свою безопасность, надежность и вдвое более справедливое отношение к человеку.
Чтобы помочь искусственному интеллекту и дальше приносить пользу обществу и предотвратить опасность возникновения галлюцинаций, организациям следует заранее бороться с проблемами качества данных и моделей. Будьте осторожны и ответственны, чтобы избежать серьезных последствий, которые могут возникнуть из-за галлюцинаций искусственного интеллекта и связанных с ними заблуждений.
Одним словом, риски, связанные с галлюцинациями искусственного интеллекта, можно контролировать, если реализовать соответствующие стратегии по их снижению. Тем не менее, предотвращение возможных негативных последствий требует настойчивого наблюдения со стороны разработчиков технологий и тех, кто влияет на изменение политики. Только совместными усилиями мы сможем создать систему искусственного интеллекта, которая будет положительно влиять на человека и в то же время обеспечивать его защиту.
В заключение мы подготовили для вас наиболее часто задаваемые вопросы и ответы на них
Что такое галлюцинации искусственного интеллекта?
Галлюцинации в искусственном интеллекте — это случаи, когда системы искусственного интеллекта генерируют ложную или нелепую информацию, часто из-за неправильной интерпретации данных или закономерностей.
Почему системы искусственного интеллекта вызывают галлюцинации?
Галлюцинации в системах искусственного интеллекта могут возникать из-за различных факторов, включая чрезмерную подгонку, смещение обучающих данных и высокую сложность модели.
Насколько распространены галлюцинации в искусственном интеллекте?
Галлюцинации могут быть довольно распространены в искусственном интеллекте, особенно в больших языковых моделях и генеративных инструментах, в которых отсутствуют ограничения на возможные результаты.
Можно ли предотвратить галлюцинации в искусственном интеллекте?
Предотвращение галлюцинаций в искусственном интеллекте заключается в определении четких границ для моделей искусственного интеллекта с помощью инструментов фильтрации и установления пороговых значений вероятности.
Каковы последствия галлюцинаций искусственного интеллекта?
Последствия могут быть самыми разными: от распространения дезинформации до причинения реального вреда, например, неправильного медицинского диагноза.
Как галлюцинации искусственного интеллекта влияют на доверие к системам искусственного интеллекта?
Галлюцинации могут подорвать доверие к искусственному интеллекту, поскольку из-за них трудно полагаться на результаты работы системы без проверки.
Существуют ли известные примеры галлюцинаций в искусственном интеллекте?
Да, среди известных примеров — чат-боты, генерирующие поддельные научные работы или предоставляющие неверную информацию в процессе взаимодействия с клиентами.
Встречаются ли галлюцинации искусственного интеллекта как в языковых, так и в образных системах?
Да, галлюцинации искусственного интеллекта могут возникать как в языковых моделях, так и в системах компьютерного зрения.
Какую роль в галлюцинациях искусственного интеллекта играют обучающие данные?
Обучающие данные имеют решающее значение — предвзятые или нерепрезентативные данные могут привести к галлюцинациям, которые отражают эти предвзятости.
Ведутся ли исследования, направленные на решение проблемы галлюцинаций в искусственном интеллекте?
Да, ведутся значительные исследования, направленные на понимание и смягчение галлюцинаций искусственного интеллекта с целью повышения надежности систем искусственного интеллекта.
