Проблема контекстного окна: Как AI теряет смысл в середине длинного текста

Главное:

• Эрик Шмидт, бывший генеральный директор Google, заявил о проблеме контекстного окна нейросетей.
• Большие языковые модели (LLM) забывают середину текста при загрузке длинных данных.
• Сравнения между AI и человеческим мозгом вызывают дискуссии о сходстве обработки информации.

Проблема контекстного окна

Недавнее интервью Эрика Шмидта, в котором он рассуждал о работе больших языковых моделей (LLM), привлекло внимание экспертов в области искусственного интеллекта. По его словам, контекстное окно, через которое AI взаимодействует с текстами, может работать как краткосрочная память. Однако он указал на важный недостаток: когда текст слишком длинный, нейросеть забывает информацию из середины. Это ставит под сомнение эффективность LLM при работе с объемными данными и текстами.

Научные исследования показывают, что человеческий мозг обрабатывает информацию совершенно иначе. В отличие от AI, который теряет смысловые связи в длинных текстах, человек лучше запоминает начало и конец текстов. На это указывают концепции эффекта первичности и эффекта новизны, которые объясняют, как мы запоминаем информацию.

Технические аспекты нейросетей

С точки зрения технологии, LLM не является поисковой системой, а скорее инструментом для анализа статистических данных. Они используют специальные векторы, называемые весовыми параметрами, для преобразования текста в цифровую форму. Каждый фрагмент текста становится координатой в многомерном пространстве, что позволяет моделям находить смысловые связи.

Проблема, о которой говорит Шмидт, заключается в том, что чем длиннее текст, тем сложнее LLM сохранить все его аспекты и связи. Это эффективно сравнимо с попыткой параллельно соединить две запутанные веревки: как бы вы ни старались, середина будет всегда запутанной и трудной для согласования. Краткие запросы, наоборот, легко обрабатываются, что делает нейросети более эффективными при работе с меньшими объемами информации.

Сравнение технологий и человеческой памяти

Сравнение AI и человеческого мозга в контексте запоминания и обработки информации вызывает много вопросов. Хотя, по мнению некоторых экспертов, у обеих систем есть общие черты, такие как черты памяти, на самом деле сценарии и алгоритмы, стоящие за ними, сильно различаются.

Современные исследования в области нейропсихологии показывают, что человеческий мозг функционирует с помощью двух отдельных процессов для запоминания: для начала (эффект первичности) и конца (эффект новизны) текста. Эти процессы менее эффективны для текста средней длины. Следовательно, выводы, сделанные Шмидтом, хотя и интересны, не следует рассматривать как доказательство аналогии между AI и человеческим мышлением.

Таким образом, понимание того, как индивидуальные алгоритмы работают и как человеческая память структурируется, может помочь в дальнейшем развитии нейросетей и их применяемости в области обработки языка и текстов.