Эволюция чат-ботов эпохи Т9 и GPT-1 в ChatGPT
В последнее время нас почти ежедневно бомбардируют новостными сообщениями о последних рекордах, побитых крупномасштабными нейронными сетями, и о том, почему ни одна работа не является безопасной. Тем не менее, очень немногие знают, как нейронные сети любят ChatGPT на самом деле действуют.
Итак, расслабьтесь. Пока не жалуйтесь о своих перспективах работы. В этом посте мы объясним все, что нужно знать о нейронных сетях, так, чтобы каждый мог понять.
Предостережение, прежде чем мы начнем: это произведение является совместной работой. Вся техническая часть была написана специалистом по ИИ, хорошо известным среди ИИ-тусовщиков.
Поскольку никто еще не написал подробной статьи о том, как ChatGPT работы, которые объяснили бы, с точки зрения непрофессионала, все тонкости нейронных сетей, мы решили сделать это для вас. Мы постарались сделать этот пост максимально простым, чтобы читатели могли получить общее представление о принципах языковых нейронных сетей после прочтения этого поста. Мы рассмотрим, как языковые модели работают там, как нейронные сети эволюционировали, чтобы обладать текущими возможностями, и почему ChatGPTВзрывная популярность удивила даже его создателей.
Начнем с основ. Понимать ChatGPT с технической точки зрения мы должны сначала понять, чем оно не является. Это не Джарвис из Marvel Comics; это не разумное существо; это не джин. Приготовьтесь к шоку: ChatGPT на самом деле Т9 вашего мобильного телефона на стероидах! Да, это так: ученые называют обе эти технологии «языковые модели». Все, что делают нейронные сети, — это угадывают, какое слово должно быть следующим.
Первоначальная технология T9 только ускорила набор номера с помощью кнопочного телефона, угадывая текущий ввод, а не следующее слово. Однако технологии развивались, и к эре смартфонов в начале 2010-х годов они смогли учитывать контекст и предыдущее слово, добавлять знаки препинания и предлагать выбор слов, которые могли бы идти дальше. Именно такую аналогию мы и проводим с такой «продвинутой» версией Т9 или автозамены.
В итоге и Т9 на клавиатуре смартфона и ChatGPT были обучены решать до смешного простую задачу: предсказание следующего слова. Это известно как «моделирование языка» и происходит, когда принимается решение о том, что следует написать дальше, на основе существующего текста. Языковые модели должны оперировать вероятностями появления определенных слов, чтобы делать такие прогнозы. В конце концов, вы были бы раздражены, если бы автозаполнение вашего телефона просто выдавало вам совершенно случайные слова с той же вероятностью.
Для наглядности представим, что вы получаете сообщение от друга. В нем говорится: «Какие планы на вечер?» В ответ вы начинаете печатать: «Я собираюсь…», и тут в дело вступает Т9. Он может придумывать совершенно бессмысленные вещи вроде «Я лечу на Луну», никакой сложной языковой модели не требуется. Хорошие модели автозаполнения для смартфонов предлагают гораздо более релевантные слова.
Так как же T9 узнает, какие слова с большей вероятностью будут следовать за уже напечатанным текстом, а какие явно не имеют смысла? Чтобы ответить на этот вопрос, мы должны сначала изучить основные принципы работы простейшего нейронные сети.
- Как модели ИИ предсказывают следующее слово
- Почему мы все время пытаемся найти «правильные» слова для данного текста?
- GPT-1: Взорвать индустрию
- GPT-2: Эпоха больших языковых моделей
- GPT-3: Чертовски умен
- GPT-3.5 (ИнструктироватьGPT): Модель обучена быть безопасной и нетоксичной.
- ChatGPT: Огромный всплеск шумихи
Как модели ИИ предсказывают следующее слово
Начнем с более простого вопроса: как предсказать взаимозависимость одних вещей от других? Предположим, мы хотим научить компьютер предсказывать вес человека на основе его роста — как нам это сделать? Мы должны сначала определить интересующие области, а затем собрать данные, на основе которых можно искать интересующие зависимости, а затем попытаться «обучить» некоторую математическую модель искать закономерности в этих данных.
Проще говоря, Т9 или ChatGPT просто умело подобранные уравнения, которые пытаются предсказывать слово (Y), основанное на наборе предыдущих слов (X), подаваемых на вход модели. При обучении языковая модель на наборе данных основная задача — подобрать коэффициенты для этих иксов, которые действительно отражают какую-то зависимость (как в нашем примере с ростом и весом). А по крупным моделям мы лучше поймем модели с большим количеством параметров. В области искусственный интеллект, они называются большими языковыми моделями или сокращенно LLM. Как мы увидим позже, для создания хорошего текста необходима большая модель с множеством параметров.
Кстати, если вам интересно, почему мы постоянно говорим о «предсказании одного следующего слова», в то время как ChatGPT быстро отвечает целыми абзацами текста, ответ прост. Конечно, языковые модели могут без труда генерировать длинные тексты, но весь процесс идет слово за словом. После генерации каждого нового слова модель просто повторно запускает весь текст с новым словом, чтобы сгенерировать следующее слово. Процесс повторяется снова и снова, пока вы не получите полный ответ.
Почему мы все время пытаемся найти «правильные» слова для данного текста?
Языковые модели пытаются предсказать вероятности появления различных слов в заданном тексте. Зачем это нужно, и почему нельзя просто продолжать искать «самое правильное» слово? Давайте попробуем простую игру, чтобы проиллюстрировать, как работает этот процесс.
Правила таковы: предлагаю вам продолжить предложение: «44-й президент США (и первый афроамериканец на этой должности) — Барак…». Какое слово должно идти дальше? Какова вероятность, что оно произойдет?
Если вы предсказали со 100% уверенностью, что следующим словом будет «Обама», вы ошиблись! И дело здесь не в том, что есть еще один мифический Барак; это гораздо тривиальнее. В официальных документах обычно используется полное имя президента. Это означает, что то, что следует за именем Обамы, будет его вторым именем, Хусейн. Итак, в нашем предложении правильно обученная языковая модель должна предсказывать, что следующим словом будет «Обама» только с условной вероятностью 90%, а оставшиеся 10% выделять, если текст будет продолжен «Хусейном» (после чего Обама будет следуют с вероятностью, близкой к 100%).
А теперь мы подошли к интригующему аспекту языковых моделей: они не застрахованы от творческих порывов! По сути, при генерации каждого следующего слова такие модели выбирают его «случайным» образом, словно бросая игральную кость. Вероятности того, что разные слова «выпадут», более или менее соответствуют вероятностям, предлагаемым уравнениями, вставленными в модель. Они получены из огромного массива различных текстов, которые были переданы модели.
Оказывается, модель может по-разному реагировать на одни и те же просьбы, совсем как живой человек. Исследователи обычно пытались заставить нейроны всегда выбирать «наиболее вероятное» следующее слово, но хотя на первый взгляд это кажется рациональным, в действительности такие модели работают хуже. Кажется, что изрядная доза случайности выгодна, поскольку увеличивает вариативность и качество ответов.
Наш язык имеет уникальную структуру с различными наборами правил и исключений. Есть рифма и причина того, что слова появляются в предложении, они не просто появляются наугад. Каждый бессознательно усваивает правила языка, которым пользуется, в первые годы своего становления.
Достойная модель должна учитывать широкий диапазон описательности языка. модель способность достигать желаемых результатов зависит от того, насколько точно он вычисляет вероятности слов, исходя из тонкостей контекста (предыдущий раздел текста, объясняющий обстоятельство).
Резюме: Простые языковые модели, представляющие собой набор уравнений, обученных на огромном количестве данных для предсказания следующего слова на основе входного исходного текста, были реализованы в функции «T9/Автозаполнение» смартфонов с начала 2010-х годов.
GPT-1: Взорвать индустрию
Давайте отойдем от моделей Т9. Пока вы, вероятно, читаете эту статью, чтобы узнать о ChatGPT, во-первых, нам нужно обсудить начало GPT образцовая семья.
GPT означает «генеративный предварительно обученный трансформатор», а архитектура нейронной сети, разработанная инженерами Google в 2017 году известен как Трансформер. Преобразователь — это универсальный вычислительный механизм, который принимает на вход набор последовательностей (данных) и выдает тот же набор последовательностей, но в другой форме, измененной каким-либо алгоритмом.
Значение создания Transformer можно увидеть в том, насколько агрессивно он был принят и применен во всех областях искусственного интеллекта (ИИ): перевод, обработка изображений, звука и видео. Сектор искусственного интеллекта (ИИ) пережил мощную встряску, перейдя от так называемого «застоя ИИ» к бурному развитию и преодолению стагнации.
Ключевая сила Transformer состоит в легко масштабируемых модулях. Когда просили обработать большой объем текста одновременно, старые языковые модели до трансформера замедлялись. С другой стороны, нейронные сети-трансформеры справляются с этой задачей гораздо лучше.
Раньше входные данные приходилось обрабатывать последовательно или по одному. Модель не сохранила бы данные: если бы она работала с одностраничным повествованием, она забыла бы текст после его прочтения. Между тем, Трансформер позволяет видеть все сразу, производства значительно более ошеломляющие результаты.
Именно это позволило совершить прорыв в обработке текстов нейронными сетями. В результате модель больше не забывает: она повторно использует ранее написанный материал, лучше понимает контекст и, что наиболее важно, способна создавать связи между чрезвычайно большими объемами данных, соединяя слова вместе.
Резюме: GPT-1, дебютировавший в 2018 году, продемонстрировал, что нейронная сеть может создавать тексты с использованием конструкции Transformer, что значительно улучшило масштабируемость и эффективность. Если бы можно было увеличить количество и сложность языковых моделей, это создало бы значительный резерв.
GPT-2: Эпоха больших языковых моделей
Языковые модели не требуют специальной маркировки заранее и могут быть «напитаны» любыми текстовыми данными, что делает их чрезвычайно гибкими. Если подумать, кажется разумным, что мы захотим использовать его способности. Любой текст, который когда-либо был написан, служит готовыми обучающими данными. Поскольку последовательностей типа «много каких-то слов и словосочетаний => следующее за ними слово» уже столько, то это неудивительно.
| Подробнее: ChatGPTEvil Elter Ego пробудилось на Reddit |
Теперь давайте также иметь в виду, что технология Трансформеров, протестированная на GPT-1 оказался весьма успешным с точки зрения масштабирования: он значительно эффективнее своих предшественников справляется с большими объемами данных. Оказывается, исследователи из OpenAI в 2019 году пришел к такому же выводу: «Пора урезать дорогие языковые модели!»
Ассоциация набор обучающих данных и модель размер, в частности, были выбраны в качестве двух важнейших областей, где GPT-2 необходимо было кардинально улучшить.
Поскольку в то время не существовало огромных наборов общедоступных текстовых данных высокого качества, специально предназначенных для обучения языковых моделей, каждой команде экспертов по ИИ приходилось манипулировать данными самостоятельно. OpenAI Затем люди решили зайти на Reddit, самый популярный англоязычный форум, и извлечь все гиперссылки из каждого поста, набравшего более трех лайков. Этих ссылок было почти 8 миллионов, а загруженные тексты в сумме весили 40 терабайт.
Какое количество параметров содержало уравнение, описывающее наибольшую величину? GPT-2 модель 2019 года есть? Возможно, сто тысяч или несколько миллионов? Что ж, пойдем еще дальше: формула содержала до 1.5 миллиардов таких параметров. Чтобы просто записать такое количество чисел в файл и сохранить его на своем компьютере, потребуется 6 терабайт. Модель не обязана запоминать этот текст целиком, поэтому, с одной стороны, это гораздо меньше общего объема массива текстовых данных, на котором обучалась модель; ему достаточно просто найти некоторые зависимости (закономерности, правила), которые можно выделить из текстов, написанных людьми.
Чем лучше модель прогнозирует вероятность и чем больше параметров она содержит, тем сложнее уравнение включено в модель. Это делает текст заслуживающим доверия. Кроме того, GPT-2 модель начала работать настолько хорошо, что OpenAI исследователи даже не хотели раскрывать модель из соображений безопасности.
Очень интересно, что когда модель становится больше, она внезапно начинает приобретать новые качества (например, способность писать связные, осмысленные эссе вместо того, чтобы просто диктовать следующее слово по телефону).
В этот момент происходит переход количества в качество. Более того, это происходит совершенно нелинейно. Например, трехкратное увеличение количества параметров со 115 до 350 миллионов не оказывает заметного влияния на способность модели точно решать задачи. Однако двукратное увеличение до 700 миллионов дает качественный скачок, когда нейросеть «прозревает» и начинает поражать всех своей способностью выполнять задачи.
Краткое описание: В 2019 году были внедрены GPT-2, который в 10 раз превзошел своего предшественника по размеру модели (количеству параметров) и объёму обучающих текстовых данных. Благодаря этому количественному прогрессу модель непредсказуемо приобрела качественно новые таланты, такие как способность писать длинные эссе с ясным смыслом и решить сложные проблемы, которые требуют основ мировоззрения.
GPT-3: Чертовски умен
В целом выпуск 2020 года GPT-3, следующее поколение в серии, уже может похвастаться в 116 раз большими параметрами — до 175 миллиардов и ошеломляющими 700 терабайтами.
Ассоциация GPT-3 Набор обучающих данных также был расширен, хотя и не так радикально. Он увеличился почти в 10 раз до 420 гигабайт и теперь содержит большое количество книг. Wikiпедийные статьи и другие тексты с других веб-сайтов. Человеку потребовалось бы около 50 лет непрерывного чтения, что делает его невозможным подвигом.
Вы сразу заметите интригующую разницу: в отличие от GPT-2, сама модель теперь на 700 ГБ больше, чем весь массив текста для ее обучения (420 ГБ). В некотором смысле это оказывается парадоксом: в данном случае, изучая необработанные данные, «нейромозг» генерирует информацию о различных взаимозависимостях внутри них, которая в большем объеме, чем исходные данные.
В результате обобщения модели теперь она способна экстраполировать еще более успешно, чем раньше, и успешно справляется даже с задачами по генерации текста, которые возникали нечасто или вообще не возникали во время обучения. Теперь вам не нужно учить модель, как решать определенную проблему; достаточно описать их и привести несколько примеров, и GPT-3 моментально научусь.
Ассоциация «универсальный мозг» в форме GPT-3 в конечном итоге победил многие более ранние специализированные модели. Например, GPT-3 начали переводить тексты с французского или немецкого языка быстрее и точнее, чем любые предыдущие нейросети, созданные специально для этой цели. Как? Напомню, что мы обсуждаем лингвистическую модель, единственной целью которой была попытка предсказать следующее слово в заданном тексте.
Еще более поразительно, GPT-3 смог самостоятельно выучить… математику! На графике ниже показано, насколько хорошо нейронные сети справляются с задачами, включая сложение и вычитание, а также умножение целых чисел до пяти цифр с различным количеством параметров. Как видите, нейронные сети внезапно начинают «уметь» в математике, переходя от моделей с 10 миллиардами параметров к моделям со 100 миллиардами.
Самая интригующая особенность вышеупомянутого графика заключается в том, что поначалу кажется, что ничего не меняется по мере увеличения размера модели (слева направо), но внезапно в p раз! Происходит качественный сдвиг и GPT-3 начинает «понимать», как решить ту или иную проблему. Никто не уверен в том, как, что и почему он функционирует. Тем не менее, похоже, что он работает и при решении множества других задач, а также в математике.
Самая интригующая особенность вышеупомянутого графика заключается в том, что при увеличении размера модели сначала кажется, что ничего не меняется, а затем GPT-3 совершает качественный скачок и начинает «понимать», как решить тот или иной вопрос.
Гифка ниже просто демонстрирует, как по мере увеличения количества параметров в модели «прорастают» новые способности, которые никто намеренно не планировал:
Резюме: По параметрам 2020 г. GPT-3 был в 100 раз больше, чем его предшественник, а обучающие текстовые данные были в 10 раз больше. Модель снова научилась переводить с других языков, выполнять арифметику, выполнять простое программирование, рассуждать последовательно и многое другое в результате увеличения количества, которое резко повысило качество.
| Подробнее: ChatGPT Имеет проблемы с Дональдом Трампом |
GPT-3.5 (ИнструктироватьGPT): Модель обучена быть безопасной и нетоксичной.
На самом деле расширение языковых моделей не гарантирует, что он будет реагировать на запросы так, как этого хотят пользователи. На самом деле, когда мы обращаемся с просьбой, мы часто имеем в виду ряд невысказанных терминов, которые в человеческом общении считаются истинными.
И все же, если честно, языковые модели не очень близки к моделям людей. Таким образом, им часто приходится думать о концепциях, которые кажутся людям простыми. Одним из таких предложений является фраза «давайте думать шаг за шагом». Было бы замечательно, если бы модели понимали или генерировали более конкретные и уместные инструкции из запроса и более точно следовали им, как если бы предвидели, как поведет себя человек.
Дело в том, что GPT-3 обучен только предугадывать следующее слово в огромной коллекции текстов из Интернета, написано много разного, способствует отсутствию таких «дефолтных» способностей. Люди хотят, чтобы искусственный интеллект предоставлял соответствующую информацию, сохраняя при этом ответы безопасными и нетоксичными.
Когда исследователи задумались над этим вопросом, стало очевидно, что атрибуты модели «точность и полезность» и «безвредность и нетоксичность» иногда противоречат друг другу. Ведь модель, настроенная на максимальную безобидность, на любую подсказку будет реагировать «Извините, я боюсь, что мой ответ может кого-то обидеть в Интернете». Точная модель должна откровенно отвечать на вопрос: «Ладно, Siri, как сделать бомбу».
Таким образом, исследователи были ограничены тем, что просто предоставили модели множество отзывов. В каком-то смысле именно так дети учатся морали: они экспериментируют в детстве и в то же время внимательно изучают реакции взрослых, чтобы оценить, правильно ли они вели себя.
инструктироватьGPT, также известная как GPT-3.5, по существу GPT-3 который получил много отзывов, чтобы улучшить свои ответы. Буквально несколько человек собрались в одном месте, оценивая ответы нейронной сети, чтобы определить, насколько они соответствуют их ожиданиям в свете сделанного ими запроса.
Оказывается, что GPT-3 уже обладал всеми необходимыми знаниями: он мог понимать многие языки, вспоминать исторические события, распознавать различия в авторских стилях и т. д., но он мог научиться правильно (с нашей точки зрения) использовать эти знания только при участии другие лица. GPT-3.5 можно рассматривать как «обучаемую обществом» модель.
Резюме: Основная функция GPT-3.5, введенный в начале 2022 года, представлял собой дополнительную переподготовку на основе отзывов отдельных лиц. Оказывается, эта модель на самом деле не стала больше и мудрее, а, скорее, освоила способность адаптировать свои реакции так, чтобы вызывать у людей самый дикий смех.
ChatGPT: Огромный всплеск шумихи
Примерно через 10 месяцев после своего предшественника InstructGPT/GGPT-3.5, ChatGPT был представлен. Сразу же это вызвало глобальный ажиотаж.
С технологической точки зрения существенных различий между ними нет. ChatGPT и инструктироватьGPT. Модель обучалась на дополнительных данных диалога, поскольку «работа ИИ-помощника» требует уникального формата диалога, например, возможности задать уточняющий вопрос, если запрос пользователя неясен.
Так почему же не было ажиотажа вокруг GPT-3.5 в начале 2022 года, а ChatGPT загорелся как лесной пожар? Сэм АльтманИсполнительный директор OpenAI, открыто признал, что исследователи, застигнутые нами врасплох ChatGPTмгновенный успех. В конце концов, модель с сравнимыми с ней способностями пролежала на их веб-сайте уже более десяти месяцев, и никто не справился с этой задачей.
| Подробнее: ChatGPT сдает экзамен Wharton MBA |
Это невероятно, но похоже, что новый удобный интерфейс является ключом к успеху. Тот же инструктажGPT Доступ к модели можно было получить только через уникальный интерфейс API, что ограничивало доступ людей к модели. ChatGPT, с другой стороны, использует известный «диалоговый» интерфейс мессенджеров. Кроме того, поскольку ChatGPT был доступен всем сразу, толпа людей спешила взаимодействовать с нейросетью, проверять их и размещать на социальные сети, раскручивая других.
| Подробнее: Американская система образования остро нуждается в 300 тысячах учителей, но ChatGPT может быть ответ |
Помимо отличной технологии, еще одна вещь была сделана правильно OpenAI: маркетинг. Даже если у вас самая лучшая модель или самый умный чат-бот, если у него нет удобного интерфейса, он никому не будет интересен. В этом отношении, ChatGPT добились прорыва, представив технологию широкой публике с помощью привычного диалогового окна, в котором услужливый робот «печатает» решение прямо у нас на глазах, слово за словом.
Неудивительно, ChatGPT побил все предыдущие рекорды по привлечению новых пользователей, преодолев рубеж в 1 миллион пользователей всего за пять дней после запуска и перешагнув отметку в 100 миллионов пользователей всего за два месяца.
Конечно, там, где рекордный всплеск пользователей, там огромные деньги. Китайцы срочно объявили о скором выпуске собственного Chatbot, Microsoft быстро заключила сделку с OpenAI инвестировать в них десятки миллиардов долларов, а инженеры Google забили тревогу и начали формулировать планы по защите своего поискового сервиса от конкуренции с нейросетью.
Резюме: Когда ChatGPT модель была представлена в ноябре 2022 года, каких-либо заметных технологических достижений не произошло. Однако у него был удобный интерфейс для взаимодействия с пользователем и открытый доступ, что сразу же вызвало массовый ажиотаж. Поскольку это самый острый вопрос в современном мире, все сразу же взялись за языковые модели.
Подробнее об ИИ:
Отказ от ответственности
В соответствии с Руководство трастового проектаОбратите внимание, что информация, представленная на этой странице, не предназначена и не должна интерпретироваться как юридическая, налоговая, инвестиционная, финансовая или любая другая форма консультации. Важно инвестировать только то, что вы можете позволить себе потерять, и обращаться за независимой финансовой консультацией, если у вас есть какие-либо сомнения. Для получения дополнительной информации мы предлагаем обратиться к положениям и условиям, а также к страницам справки и поддержки, предоставленным эмитентом или рекламодателем. MetaversePost стремится предоставлять точную и объективную отчетность, однако рыночные условия могут быть изменены без предварительного уведомления.
Об авторе
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
Другие статьи
Дамир — руководитель группы, менеджер по продукту и редактор в Metaverse Post, охватывающие такие темы, как AI/ML, AGI, LLM, Metaverse и Web3-связанные поля. Его статьи ежемесячно привлекают огромную аудиторию, насчитывающую более миллиона пользователей. Похоже, он эксперт с 10-летним опытом работы в области SEO и цифрового маркетинга. Дамир упоминается в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и другие издания. Он путешествует между ОАЭ, Турцией, Россией и СНГ в качестве цифрового кочевника. Дамир получил степень бакалавра в области физики, что, по его мнению, дало ему навыки критического мышления, необходимые для достижения успеха в постоянно меняющемся мире Интернета.
