Исследование: Ошибки ИИ кардинально отличаются от ошибок человека

Главное:

• Искусственный интеллект (ИИ) совершает ошибки, которые отличаются от человеческих.
• Ошибки людей имеют тенденцию к группировке, тогда как ИИ ошибки распределены более равномерно.
• Некоторые ошибки ИИ напоминают человеческие из-за чувствительности к формулировке запросов.

Отличия в ошибках ИИ и человека

Недавнее исследование, проведенное учеными Натаном Сандерсом и Брюсом Шнайдером, выявило интересные аспекты различий между ошибками, совершаемыми людьми и системами искусственного интеллекта (ИИ). Согласно данным, человеческие ошибки часто возникает в контексте группировки. Например, если человек ошибается при решении математической задачи, то с большой вероятностью он столкнется с другими ошибками в аналогичных задачах. Эти ошибки во многом зависят от состояния человека: усталость или отвлечение могут негативно сказаться на расчетах. Исходя из статистики, при тестировании на математику, где участвуют люди, 70% ошибок происходят в условиях стресса или переутомления.

С другой стороны, современные ИИ, такие как большие языковые модели (LLM), демонстрируют иные закономерности в своих ошибках. Их ошибки появляются вроде бы случайным образом и не поддаются логической привязке к конкретному виду задач. Например, такая модель может допустить ошибку как в арифметическом решении, так и сказать небылицу о том, что капуста ест коз. Это делает доверие к их работе в сложных задачах сомнительным, особенно в бизнес-приложениях.

Проблемы, связанные с использованием ИИ

Авторы исследования отмечают, что ошибки ИИ могут критически повлиять на принятие решений в бизнесе. Если задача состоит в распределении ресурсов или оценке прибыльности новой линии продуктов, должна быть абсолютная уверенность в том, что ИИ правильно интерпретирует, что такое деньги и как их использовать. Случайные ошибки или отклонения от темы могут стать причиной крупных финансовых потерь. Результаты опроса, проведенного среди 500 руководителей ИТ-компаний, показывают, что 85% из них считают непоследовательность в ответах ИИ одним из ключевых факторов, препятствующих внедрению технологий машинного обучения в их бизнес-процессы.

Интересно отметить, что некоторые ошибки ИИ могут быть «человекоподобными». Например, небольшие изменения в формулировке запроса могут привести к совершенно противоположным ответам, что также наблюдается в человеческом общении. ИИ также может проявлять лучшую продуктивность, когда ему предлагают вознаграждение или ставят перед ним угрозу, что говорит о наличии определенных мотивационных факторов.

Социальная инженерия и поведение ИИ

Одной из менее очевидных проблем является возможность «взлома» ИИ через методы социальной инженерии. Это может проявляться, например, в попытках обмануть ИИ, сказав, что определенные запросы — это просто шутка, или притворившись кем-то другим. Важно понимать, что такая уязвимость может приводить не только к потере конфиденциальности данных, но и к потенциальным сбоям в работе, аналогичным управленческим ошибкам.

По мнению исследователей, необходимо не только продумывать сложные алгоритмы для решения задач, но и иметь в виду возможные побочные эффекты, возникающие от некорректных ответов ИИ. Важно обеспечить правильный контроль и границы в использовании ИИ, чтобы минимизировать последствия, которые могут возникнуть в результате непредусмотренных ошибок. Представление сложной информации простым и понятным языком может стать одним из ключевых решений для повышения доверия и безопасности, как к ИИ, так и к его внедрению в сферу бизнеса.