Главное:
- OpenAI представила новое поколение моделей o1 и o3, повышая их безопасность и соответствие корпоративной политике.
- Использование нового метода «совещательного согласования» позволит моделям учитывать политику безопасности в реальном времени.
- Модели o1 и o3 продемонстрировали лучшие результаты в тестировании безопасности по сравнению с предшественниками и конкурентами.
Новые модели OpenAI: что изменилось?
В пятницу OpenAI анонсировала запуск новых моделей o1 и o3, которые, по утверждению компании, превосходят предыдущие версии и других участников рынка. Ключевое отличие состоит в использовании увеличенных вычислительных мощностей и новой парадигмы безопасности, которая затрагивает процесс обучения. Эти модели были обучены с учетом политики безопасности OpenAI, что позволяет им более эффективно справляться с небезопасными запросами и выдавать адекватные ответы на деликатные темы.
Согласно последним исследованиям, новое усовершенствование в виде "совещательного согласования" позволило повысить уровень соответствия моделей правилам безопасности, что является актуальным в условиях растущей популярности ИИ. Безопасность является важным аспектом для OpenAI, учитывая конкуренцию с другими моделями, которые иногда выдают небезопасные ответы.
Методологические изменения в обучении моделей
Использование «совещательного согласования» предоставляет моделям возможность обдумывать текст политики безопасности OpenAI во время обработки запросов. Этот подход значительно отличается от традиционного, при котором меры безопасности принимались только до или после процесса обучения.
Процесс обучения теперь включает создание синтетических данных с помощью внутренней модели логического вывода, что уменьшает задержки и затраты на обучение. OpenAI также применяет методы оценки качества ответов моделей с использованием другой "судейской" модели, что позволяет обеспечить высокий уровень безопасности и соответствие ценностям компании, минимизируя риск чрезмерного отказа в доступе к информации.
Будущее моделей и потребности в безопасности
В 2025 году ожидается окончательный релиз новых моделей o3, и тогда мы сможем оценить их реальную безопасность и эффективность. Между тем, текущая реализация «совещательного согласования» уже показала эффективность в тестах, снижая частоту ответов на небезопасные запросы.
В условиях роста возможностей ИИ важность подобных мер безопасности будет только увеличиваться. OpenAI подчеркивает, что новые модели должны не только соответствовать интеллектуальным стандартам, но и быть безопасными при взаимодействии с пользователями. Ключевыми задачами остаются улучшение соответствия политикам безопасности и разработка методов предотвращения обходных путей для небезопасных запросов. Таким образом, OpenAI движется в сторону более безопасного и продуманного использования искусственного интеллекта, соответствующего современным требованиям общества.
Добавить комментарий