Главное:
- Обнаружена широкая возможность доступа к песочнице ChatGPT от OpenAI, что включает запуск сторонних скриптов и просмотр файловой структуры.
- Исследователь Марко Фигероа выявил пять уязвимостей в системе, но OpenAI уделила внимание только одной из них.
- Несмотря на возможность взаимодействия с песочницей, исследователь утверждает, что это не приводит к прямым уязвимостям в безопасности или утечкам конфиденциальной информации.
Обнаружение уязвимости
На днях исследователь безопасности Марко Фигероа из исследовательской сети Mozilla 0-day (0DIN) провел исследование песочницы ChatGPT, платформы от OpenAI, и выявил серьезные недостатки. В ходе тестирования он обнаружил, что песочница, изначально предназначенная для ограничения доступа к конфиденциальным данным и функции интернета, допускает загрузку и выполнение сторонних скриптов Python. Это означает, что пользователи могут не только взаимодействовать с песочницей, но и существенно расширить ее функционал, получая доступ к файловой системе.
Фигероа протестировал загрузку простого скрипта, который выполнял команды Linux и выводил содержимое папок, включая системные конфигурации. Несмотря на то что основные пути доступа к конфиденциальным данным, таким как папка /root, были закрыты, возможность чтения настроек и других каталогов может дать злоумышленникам ключ к пониманию механики работы платформы и ее защитных функций.
Реакция OpenAI и последствия
После сообщения о найденной уязвимости OpenAI проявила интерес только к одному из пяти недостатков, обнаруженных Фигероа. Это поднимает вопросы относительно безопасности и прозрачности со стороны компании. Прозрачность важна для пользователей, поскольку она усиливает доверие и понимание того, как работают системы искусственного интеллекта. Однако такая открытость также может стать объектом злоупотреблений — возможности редактирования скриптов могут позволить пользователям влиять на работу модели в обход стандартных ограничений.
Перспектива модификации инструкций для моделей, как предлагает Фигероа, может укрепить безопасность системы, но требует тщательной проработки. Следует отметить, что даже с расширенными возможностями работы внутри песочницы, не обнаружено прямых угроз безопасности данных пользователей.
Безопасность и перспектива развития
Во время тестирования Фигероа утверждает, что не удалось загружать «вредоносные» скрипты, предназначенные для выхода за пределы песочницы, что указывает на определенный уровень защиты системы. Тем не менее, наличие таких возможностей в песочнице может привести к проблемам функционального характера и потенциальным уязвимостям при злоупотреблении.
Необходимо внедрение более строгих правил взаимодействия и настраиваемых политик для управления поведением моделей, чтобы обеспечить пользователям защищенные условия работы. Важно учитывать, что современные системы ИИ попадают под давление требований безопасности, и разработчики должны быть готовы к эволюции технологий и угроз.
Таким образом, инцидент с песочницей ChatGPT подчеркивает важность постоянного мониторинга систем безопасности и прогрессивного подхода к инновациям в области искусственного интеллекта.
Добавить комментарий