Анализ Google показывает удивительную информацию о LLM и точности поисковых систем
В начале сентября Яндекс провел закрытую мини-конференцию по генеративному искусственному интеллекту, предоставив платформу для более глубокого погружения в мир искусственного интеллекта. Тем не менее, конференция принесла важные открытия, особенно касающиеся долгожданного проекта Яндекса.GPT 2.
Яндекс представил ЯндексGPT 2 сообщество ИИ гудело от предвкушения. Создатели этой модели исследовали различные отличительные особенности, в том числе специализированный модуль, предназначенный для поиска и предоставления ответов на основе данных результатов поиска.
Примечательно, что открытия команды выявили поразительный аспект: даже при обучении на огромном хранилище внутренних данных Яндекса, охватывающем более десяти лет работы над механизмами нейронного поиска, эта запатентованная модель все еще не дотягивала до огромных результатов. GPT-4. Это значительное событие подчеркивает выдающиеся успехи, достигнутые GPT-4. Это наблюдение подчеркивает GPT-4превосходство как над собственными разработками, так и над предыдущими итерациями с открытым исходным кодом.
Расширяя такие основополагающие идеи, Гугл провел исследование оценить точность ответов Большие языковые модели (LLM) наделен доступом к поисковым системам. Хотя идея интеграции внешнего инструмента с LLM не нова, Google обнаружил, что сложность заключается в детальной оценке и проверке этих моделей. Решающие факторы, определяющие эту интеграцию, включают выбор тщательно продуманной программы и внутренние возможности программ LLM.
Методика тестирования LLM от Google
Кураторский корпус из 600 вопросов был разделен на четыре отдельные группы. Каждая группа отдавала приоритет фактической точности, но одна группа выделялась включением вопросов, основанных на ложных предпосылках.
Например, вопросы типа «что написал Трамп после того, как его разбанили в Твиттере?» содержал неточную предпосылку, поскольку Трампа не разбанили. Остальные три группы ввели переменные устаревания ответа: никогда, редко и часто. В группе «никогда» от студентов ожидалось, что они будут отвечать исключительно по памяти, тогда как вопросы о недавних событиях требовали поиска в реальном времени. Каждая группа состояла из 125 вопросов.
Вопросы были представлены широкому кругу моделей. Любопытно, что вопросы, содержащие ложные предпосылки, выявили доминирование GPT-4 и ChatGPT, которые умело опровергли подобные предпосылки, указав на их специальную подготовку для решения подобных задач.
Последовал сравнительный анализ, выявивший ChatGPT, GPT-4, Поиск в Google (на основе фрагментов текста или ответов на первой странице) и PPLX.AI (платформа, использующая ChatGPT для агрегирования ответов Google, нацеленный на разработчиков) друг против друга. В этом контексте студенты-магистры давали ответы исключительно по памяти.
Примечательно, что поиск Google давал правильные ответы в среднем в 40% случаев в четырех группах. Точность «вечных» вопросов составила 70%, а вопросов с ложными предпосылками упала до 11%. ChatGPTпроизводительность в среднем составила 26%, в то время как GPT-4 достиг 28%, впечатляюще отвечая на вопросы с ложными предпосылками в 42% случаев. PPLX.AI продемонстрировал показатель успеха 52%.
Исследование углубилось за счет интеграции нового подхода. Каждый вопрос вызывал поиск в Google, результаты которого включались в подсказку. Затем от LLM требовалось «прочитать» эту информацию, прежде чем составлять свои ответы. Этот метод позволил провести обучение с помощью нескольких кадров (примеры представлены в разделе подскажите пожалуйста модель) и вдумчивое пошаговое рассмотрение перед ответом.
Результаты оказались просто поразительными. GPT-4 продемонстрировал выдающийся рейтинг качества 77%, отвечая на «вечные» вопросы с точностью 96% и отвечая на вопросы с ложными предпосылками с похвальной точностью 75%. Пока ChatGPT предлагал чуть менее впечатляющие показатели: он превзошел как PPLX.AI, так и поиск Google.
Освоение оперативного проектирования с помощью искусственного интеллекта: ключевые выводы от экспертов PPLX.AI и Google
Способность эффективно управлять моделями большого языка (LLM) в лабиринте информации — немалый подвиг. Однако недавнее исследование ИИ подсказывает осветил ключевые стратегии, которые обещают повысить качество ответов, генерируемых LLM, и дает представление о нюансах механизма помощи ИИ.
Фундамент для этого откровения был заложен посредством тщательного и оперативного структурирования. Этот метод состоит из множества компонентов, предлагающих четкий путь к получению точных ответов, прочно основанных на понимании контекста. Начальный аспект включает иллюстративные примеры, служащие ориентирами, направляя LLM к правильному ответу на основе контекстуальных подсказок.
второй уровень показывает сам запрос вместе с 10-15 результатами поиска. Эти результаты выходят за рамки простых ссылок на веб-страницы и включают в себя огромное количество информации, включая текстовый контент, соответствующие запросы, вопросы, ответы и графики знаний. Такой подход снабжает ИИ обширной библиотекой знаний.
Сложность этой системы идет еще дальше. Важнейшее открытие произошло при расположении ссылок в подсказке в хронологическом порядке, при этом самые последние дополнения располагались в конце. Такое хронологическое расположение отражает развивающийся характер информации, позволяя модели определить временную шкалу изменений. Включение дат в каждый пример сыграло решающую роль в улучшении контекстуального понимания.
Если код для трудоустройства эта тонкая структуризация подсказок ожидается с нетерпением, ее отсутствие побудило энтузиастов рискнуть переписать шаблоны подсказок на основе предоставленных изображений.
Из этого исследования механики подсказок ИИ можно сделать несколько ключевых выводов:
1) PPLX.AI, платформа, использующая ChatGPT агрегировать ответы Google, оказался многообещающим вариантом. Даже сотрудники Google намекнули на его превосходство.
2) Экспериментирование с различными элементами привело к улучшению показателей ответа. Точность в быстром строительстве, кажется, сама по себе является искусством.
3) GPT-4 демонстрирует похвальное мастерство в обработке обширных наборов новостей и текстов. Хотя его нельзя охарактеризовать как «отличный», его качество даже в быстро меняющихся новостных сценариях колеблется в районе отметки 60%. Сообществу ИИ рекомендуется критически оценивать такие показатели.
4) Поскольку экосистема искусственного интеллекта продолжает расширяться, LLM, интегрированные в поисковые системы, могут стать повсеместными и обслуживать широкий круг пользователей. Присутствие ИИ в повседневной жизни опыт поиска находится на восходящей траектории, что означает преобразующий сдвиг в способах доступа и обработки информации.
Многогранный подход предлагает многообещающий способ получить точные ответы на основе этих сложных языковых моделей, поскольку он включает наглядные примеры, defined запрос и огромное количество контекстной информации. Хронологическое расположение ссылок внутри подсказок привело к значительному пониманию, подчеркнув важность адаптации к динамическому характеру информации. LLM могут ориентироваться во временной шкале изменений благодаря этой временной осведомленности, которая улучшает их контекстуальное понимание.
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
