Еволюцията на чатботовете от T9-Era и GPT-1 да се ChatGPT
Напоследък бяхме бомбардирани почти ежедневно с новинарски публикации за последните рекорди, счупени от широкомащабни невронни мрежи, и защо почти ничия работа не е безопасна. Въпреки това, много малко хора са наясно колко обичат невронните мрежи ChatGPT реално действат.
Така че, отпуснете се. Все още не оплаквайте перспективите си за работа. В тази публикация ще обясним всичко, което трябва да знаете за невронните мрежи по начин, който всеки може да разбере.
Едно предупреждение преди да започнем: това парче е колаборация. Цялата техническа част е написана от AI специалист, който е добре известен сред тълпата AI.
Тъй като все още никой не е написал задълбочено парче за това как ChatGPT работи, които биха обяснили, на обикновен език, тънкостите на невронните мрежи, решихме да направим това за вас. Опитахме се да запазим тази публикация възможно най-проста, така че читателите да могат да излязат от четенето на тази публикация с общо разбиране на принципите на езиковите невронни мрежи. Ще проучим как езикови модели работа там, как невронните мрежи са се развили, за да притежават настоящите си възможности и защо ChatGPTексплозивната популярност изненада дори създателите му.
Да започнем с основите. Да разбера ChatGPT от техническа гледна точка първо трябва да разберем какво не е. Това не е Джарвис на Marvel Comics; не е разумно същество; не е джин. Пригответе се да бъдете шокирани: ChatGPT всъщност е T9 на вашия мобилен телефон на стероиди! Да, така е: учените наричат и двете технологии „езикови модели“. Всичко, което правят невронните мрежи, е да познаят коя дума следва да дойде.
Оригиналната технология T9 само ускори телефонното набиране с бутон чрез отгатване на текущото въвеждане, а не на следващата дума. Технологиите обаче напреднаха и до ерата на смартфоните в началото на 2010-те години успяха да вземат под внимание контекста и предходната дума, да добавят препинателни знаци и да предлагат селекция от думи, които могат да бъдат следващи. Точно това е аналогията, която правим с такава „разширена“ версия на T9 или автокорекция.
В резултат на това T9 на клавиатурата на смартфона и ChatGPT са били обучени да решават абсурдно проста задача: предвиждане на следващата дума. Това е известно като „езиково моделиране“ и се случва, когато се вземе решение какво следва да се напише след това въз основа на съществуващ текст. Езиковите модели трябва да оперират с вероятностите за възникване на конкретни думи, за да направят такива прогнози. В края на краищата бихте се раздразнили, ако автоматичното попълване на телефона ви хвърли напълно произволни думи със същата вероятност.
За по-голяма яснота нека си представим, че получавате съобщение от приятел. Пише: „Какви са плановете ви за вечерта?“ В отговор започвате да пишете: „Аз отивам на...“ и тук се намесва T9. Може да измисли напълно безсмислени неща като „Отивам на Луната“, не е необходим сложен езиков модел. Добрите модели за автоматично попълване на смартфони предлагат много по-подходящи думи.
И така, как T9 знае кои думи е по-вероятно да следват вече въведения текст и кои очевидно нямат смисъл? За да отговорим на този въпрос, първо трябва да разгледаме основните принципи на работа на най-простите невронни мрежи.
- Как AI моделите предвиждат следващата дума
- Защо продължаваме да се опитваме да намерим „правилните“ думи за даден текст?
- GPT-1: Взривяване на индустрията
- GPT-2: Ерата на големите езикови модели
- GPT-3: Адски умен
- GPT-3.5 (ИнструкцияGPT): Модел, обучен да бъде безопасен и нетоксичен
- ChatGPT: Огромен прилив на реклама
Как AI моделите предвиждат следващата дума
Нека започнем с по-прост въпрос: Как прогнозирате взаимозависимостта на някои неща от други? Да приемем, че искаме да научим компютър да предсказва теглото на човек въз основа на неговия ръст - как трябва да го направим? Първо трябва да идентифицираме областите на интерес и след това да съберем данни, върху които да търсим зависимостите на интерес и след това да се опитаме да „обучете“ някакъв математически модел за търсене на модели в тези данни.
Казано по-просто, T9 или ChatGPT са просто умело подбрани уравнения, които се опитват да предскаже дума (Y), базирана на набор от предишни думи (X), въведени във входа на модела. Когато тренирате a езиков модел върху набор от данни основната задача е да се изберат коефициенти за тези x, които наистина отразяват някакъв вид зависимост (както в нашия пример с височина и тегло). И чрез големите модели ще разберем по-добре тези с голям брой параметри. В областта на изкуствен интелект, те се наричат големи езикови модели или накратко LLM. Както ще видим по-късно, голям модел с много параметри е от съществено значение за генерирането на добър текст.
Между другото, ако се чудите защо непрекъснато говорим за „предсказване на една следваща дума“, докато ChatGPT бързо отговаря с цели параграфи от текст, отговорът е прост. Разбира се, езиковите модели могат да генерират дълги текстове без затруднения, но целият процес е дума по дума. След като се генерира всяка нова дума, моделът просто изпълнява отново целия текст с новата дума, за да генерира следващата дума. Процесът се повтаря отново и отново, докато получите целия отговор.
Защо продължаваме да се опитваме да намерим „правилните“ думи за даден текст?
Езиковите модели се опитват да предвидят вероятностите за различни думи, които могат да се появят в даден текст. Защо е необходимо това и защо не можете просто да продължите да търсите „най-правилната“ дума? Нека опитаме проста игра, за да илюстрираме как работи този процес.
Правилата са следните: Предлагам да продължите изречението: „44-ият президент на Съединените щати (и първият афроамериканец на тази позиция) е Барак…“. Коя дума трябва да следва? Каква е вероятността да се случи?
Ако сте предвидили със 100% сигурност, че следващата дума ще бъде „Обама“, грешите! И въпросът тук не е, че има друг митичен Барак; много по-тривиално е. В официалните документи обикновено се използва пълното име на президента. Това означава, че това, което следва първото име на Обама, ще бъде второто му име Хюсеин. И така, в нашето изречение правилно обучен езиков модел трябва да предвиди, че „Обама“ ще бъде следващата дума само с условна вероятност от 90% и да разпредели останалите 10%, ако текстът бъде продължен от „Хюсеин“ (след което Обама ще следват с вероятност близка до 100%).
И сега стигаме до един интригуващ аспект на езиковите модели: Те не са имунизирани срещу творческите ивици! Всъщност, когато генерират всяка следваща дума, такива модели я избират по „случаен“ начин, сякаш хвърлят зар. Вероятността различните думи да „изпаднат“ съответства повече или по-малко на вероятностите, предложени от уравненията, вмъкнати в модела. Те са извлечени от огромния набор от различни текстове, които моделът е захранвал.
Оказва се, че един модел може да отговори по различен начин на едни и същи искания, точно като жив човек. Изследователите обикновено са се опитвали да принудят невроните винаги да избират „най-вероятната“ следваща дума, но докато това изглежда рационално на пръв поглед, такива модели се представят по-зле в действителност. Изглежда, че справедливата доза произволност е от полза, тъй като увеличава променливостта и качеството на отговорите.
Нашият език има уникална структура с различни набори от правила и изключения. Има рима и причина за това кои думи се появяват в изречението, те не се появяват на случаен принцип. Всеки несъзнателно научава правилата на езика, който използва в ранните си години на формиране.
Достойният модел трябва да вземе предвид широкия диапазон на описателност на езика. На модела способност за постигане на желаните резултати зависи от това колко точно изчислява вероятностите на думите въз основа на тънкостите на контекста (предишната част на текста, обясняваща обстоятелството).
Резюме: Простите езикови модели, които са набор от уравнения, обучени върху огромно количество данни, за да предскажат следващата дума въз основа на входния изходен текст, са внедрени във функционалността „T9/Autofill“ на смартфоните от началото на 2010 г.
GPT-1: Взривяване на индустрията
Нека се отдалечим от моделите T9. Докато вероятно четете това парче Научете повече за ChatGPT, първо, трябва да обсъдим началото на GPT образцово семейство.
GPT означава „генеративен предварително обучен трансформатор“, докато архитектура на невронна мрежа, разработена от инженери на Google през 2017 г. е известен като Transformer. Трансформаторът е универсален изчислителен механизъм, който приема набор от последователности (данни) като вход и произвежда същия набор от последователности, но в различна форма, която е била променена от някакъв алгоритъм.
Значението на създаването на Transformer може да се види в това колко агресивно беше възприет и приложен във всички области на изкуствения интелект (AI): превод, обработка на изображения, звук и видео. Секторът на изкуствения интелект (AI) претърпя мощно разтърсване, преминавайки от т. нар. „AI стагнация“ към бързо развитие и преодоляване на стагнацията.
Ключовата сила на Transformer се състои от лесни за мащабиране модули. Когато бъдат помолени да обработят голямо количество текст наведнъж, старите езикови модели преди трансформацията биха се забавили. Трансформаторните невронни мрежи, от друга страна, се справят много по-добре с тази задача.
В миналото входните данни трябваше да се обработват последователно или един по един. Моделът няма да запази данните: ако работи с разказ от една страница, ще забрави текста, след като го прочете. Междувременно Transformer позволява да видите всичко наведнъж, производство значително по-зашеметяващи резултати.
Именно това позволи пробив в обработката на текстове от невронни мрежи. В резултат на това моделът вече не забравя: той използва повторно написан преди това материал, разбира по-добре контекста и, най-важното, е в състояние да създава връзки между изключително големи обеми от данни чрез сдвояване на думи заедно.
Резюме: GPT-1, който дебютира през 2018 г., демонстрира, че една невронна мрежа може да произвежда текстове, използвайки дизайна на Transformer, който значително подобрява скалируемостта и ефективността. Ако беше възможно да се увеличи количеството и сложността на езиковите модели, това би създало значителен резерв.
GPT-2: Ерата на големите езикови модели
Езиковите модели не се нуждаят от специално маркиране предварително и могат да бъдат „захранени“ с всякакви текстови данни, което ги прави изключително гъвкави. Ако помислите малко, изглежда разумно да искаме да използваме способностите му. Всеки текст, който някога е бил написан, служи като готови данни за обучение. Тъй като вече има толкова много поредици от типа „много някакви думи и фрази => следващата дума след тях“, това не е изненадващо.
| Повече ▼: ChatGPTEvil Elter Ego на Reddit |
Сега нека също да имаме предвид, че технологията Transformers е тествана GPT-1 се оказа доста успешен по отношение на мащабирането: Той е значително по-ефективен от своите предшественици при обработка на големи обеми от данни. Оказва се, че изследователи от OpenAI стигна до същото заключение през 2019 г.: „Време е да намалим скъпите езикови модели!“
- набор от данни за обучение и модел размерът, по-специално, бяха избрани като две ключови области, където GPT-2 трябваше драстично да се подобри.
Тъй като по това време нямаше огромни, висококачествени набори от публични текстови данни, специално предназначени за обучение на езикови модели, всеки екип от експерти по изкуствен интелект трябваше сам да манипулира данните. The OpenAI след това хората взеха решение да отидат в Reddit, най-популярния англоезичен форум, и да извлекат всички хипервръзки от всяка публикация, която има повече от три харесвания. Имаше почти 8 милиона от тези връзки, а изтеглените текстове тежаха общо 40 терабайта.
Какъв брой параметри съдържа уравнението, описващо най-големия GPT-2 модел през 2019 г. имате? Може би сто хиляди или няколко милиона? Е, нека отидем още по-далеч: формулата съдържа до 1.5 милиарда такива параметри. Ще са необходими 6 терабайта, за да запишете толкова много числа във файл и да го запишете на вашия компютър. Моделът не трябва да запомни този текст като цяло, така че, от една страна, това е много по-малко от общото количество на масива от текстови данни, върху който е обучен моделът; достатъчно е просто да намери някакви зависимости (модели, правила), които могат да бъдат изолирани от текстове, написани от хора.
Колкото по-добре моделът прогнозира вероятността и колкото повече параметри съдържа, толкова по-сложно е уравнението в модела. Това създава достоверен текст. Освен това, GPT-2 моделът започна да се представя толкова добре, че OpenAI изследователи дори не са склонни да разкрият модела на открито от съображения за сигурност.
Много е интересно, че когато един модел стане по-голям, той изведнъж започва да има нови качества (като способността да пише сплотени, смислени есета, вместо просто да диктува следващата дума по телефона).
Промяната от количество към качество настъпва в този момент. Освен това, това се случва напълно нелинейно. Например, трикратно увеличение на броя на параметрите от 115 на 350 милиона няма забележимо въздействие върху способността на модела да решава точно проблеми. Въпреки това двукратното увеличение до 700 милиона води до качествен скок, при който невронната мрежа „вижда светлина“ и започва да учудва всички със способността си да изпълнява задачи.
Резюме: През 2019 г. беше представено GPT-2, който надмина 10 пъти своя предшественик по отношение на размера на модела (брой параметри) и обема на обучаващите текстови данни. Благодарение на този количествен напредък, моделът непредсказуемо придоби качествено нови таланти, като способността да пишете дълги есета с ясен смисъл и решаване на предизвикателни проблеми, които изискват основите на мироглед.
GPT-3: Адски умен
Като цяло изданието от 2020 г GPT-3, следващото поколение в серията, вече може да се похвали със 116 пъти повече параметри - до 175 милиарда и удивителните 700 терабайта.
- GPT-3 наборът от данни за обучение също беше разширен, макар и не толкова драстично. Той се увеличи почти 10 пъти до 420 гигабайта и сега съдържа голям брой книги, Wikiстатии в педиатрията и други текстове от други уебсайтове. Това ще отнеме на човек приблизително 50 години непрекъснато четене, което го прави невъзможно постижение.
Веднага забелязвате интригуваща разлика: за разлика от GPT-2, самият модел вече е със 700 GB по-голям от целия масив от текст за неговото обучение (420 GB). Това се оказва в известен смисъл парадокс: в този случай, докато „невромозъкът“ изучава сурови данни, той генерира информация за различни взаимозависимости в тях, която е по-обемно изобилна от оригиналните данни.
В резултат на обобщението на модела, той вече е в състояние да екстраполира дори по-успешно от преди и е успешен дори при задачи за генериране на текст, които се случват рядко или изобщо не се случват по време на обучението. Сега не е нужно да учите модела как да се справи с определен проблем; достатъчно е да ги опишем и да предоставим няколко примера, и GPT-3 незабавно ще се научи.
- "универсален мозък" във формата на GPT-3 в крайна сметка победи много по-ранни специализирани модели. Например, GPT-3 започна да превежда текстове от френски или немски по-бързо и по-точно от всички предишни невронни мрежи, създадени специално за тази цел. как? Позволете ми да ви напомня, че обсъждаме лингвистичен модел, чиято единствена цел беше да се опита да предскаже следващата дума в даден текст.
Още по-удивително, GPT-3 успя да се научи сам... математика! Графиката по-долу илюстрира колко добре се представят невронните мрежи при задачи, включително събиране и изваждане, както и умножение на цели числа до пет цифри с различен брой параметри. Както можете да видите, невронните мрежи изведнъж започват да „могат“ в математиката, докато преминават от модели с 10 милиарда параметри към такива със 100 милиарда.
Най-интригуващата характеристика на гореспоменатата графика е как първоначално изглежда нищо не се променя с увеличаване на размера на модела (отляво надясно), но изведнъж, p пъти! Настъпва качествена промяна и GPT-3 започва да „разбира“ как да разреши определен проблем. Никой не е сигурен как, какво или защо функционира. И все пак изглежда, че работи при различни други трудности, както и в математиката.
Най-интригуващата характеристика на гореспоменатата графика е, че когато размерът на модела се увеличи, първо изглежда нищо не се променя, а след това, GPT-3 прави качествен скок и започва да „разбира“ как да разреши определен проблем.
GIF-ът по-долу просто демонстрира как нови способности, които никой не е планирал умишлено, „поникват“ в модела с увеличаване на броя на параметрите:
Резюме: По отношение на параметрите 2020г GPT-3 беше 100 пъти по-голям от своя предшественик, докато обучителните текстови данни бяха 10 пъти по-големи. Още веднъж моделът се научи да превежда от други езици, да извършва аритметика, да извършва просто програмиране, да разсъждава последователно и много повече в резултат на разширяването на количеството, което рязко повиши качеството.
| Повече ▼: ChatGPT Има проблем с Доналд Тръмп |
GPT-3.5 (ИнструктирайтеGPT): Модел, обучен да бъде безопасен и нетоксичен
В действителност разширяването на езиковите модели не гарантира, че ще реагира на запитванията по начина, по който потребителите искат. Всъщност, когато отправяме молба, ние често имаме предвид редица неизказани термини, които в човешкото общуване се приемат за верни.
И все пак, честно казано, езиковите модели не са много близки до тези на хората. Поради това те често трябва да мислят върху концепции, които изглеждат прости за хората. Едно такова предложение е фразата „нека мислим стъпка по стъпка“. Би било фантастично, ако моделите разбират или генерират по-конкретни и уместни инструкции от заявката и ги следват по-точно, сякаш предвиждат как би се държал човек.
Фактът, че GPT-3 е обучен само да предвижда следващата дума в масивна колекция от текстове от Интернет, много различни неща са написани, допринася за липсата на такива способности „по подразбиране“. Хората искат изкуственият интелект да предоставя подходяща информация, като същевременно поддържа отговорите безопасни и нетоксични.
Когато изследователите се замислиха малко по този въпрос, стана очевидно, че атрибутите на модела „точност и полезност“ и „безвредност и нетоксичност“ понякога изглеждат в противоречие един с друг. В края на краищата модел, настроен за максимална безвредност, ще реагира на всяка подкана със „Съжалявам, притеснявам се, че отговорът ми може да обиди някого в Интернет“. Един точен модел трябва откровено да отговори на молбата „Добре, Сири, как да създадем бомба.“
Следователно изследователите бяха ограничени до просто предоставяне на модела с много обратна връзка. В известен смисъл точно по този начин децата се учат на морал: те експериментират в детството и в същото време внимателно изучават реакциите на възрастните, за да преценят дали са се държали правилно.
Дайте инструкцииGPT, известен още като GPT-3.5, е по същество GPT-3 който получи много обратна връзка, за да подобри отговорите си. Буквално редица хора бяха събрани на едно място, оценявайки отговорите на невронната мрежа, за да определят доколко отговарят на техните очаквания в светлината на заявката, която направиха.
Това се оказва GPT-3 вече е имал всички основни знания: може да разбира много езици, да си припомня исторически събития, да разпознава вариациите в авторските стилове и т.н., но може да се научи да използва тези знания правилно (от наша гледна точка) само с принос от други лица. GPT-3.5 може да се разглежда като „обучен от обществото“ модел.
Резюме: Основната функция на GPT-3.5, който беше въведен в началото на 2022 г., беше допълнителна преквалификация въз основа на информация от отделни лица. Оказва се, че този модел всъщност не е станал по-голям и по-мъдър, а по-скоро е усвоил способността да приспособява отговорите си, за да предизвика у хората най-безумния смях.
ChatGPT: Огромен прилив на реклама
Около 10 месеца след предшественика си InstructGPT/GGPT-3.5, ChatGPT беше въведена. Веднага това предизвика глобален шум.
От технологична гледна точка не изглежда, че има значителни разлики между ChatGPT и инструктирайтеGPT. Моделът беше обучен с допълнителни диалогови данни, тъй като „работата на AI помощник“ изисква уникален диалогов формат, например възможността да се зададе изясняващ въпрос, ако заявката на потребителя е неясна.
И така, защо нямаше шум около това GPT-3.5 в началото на 2022 г., докато ChatGPT уловени като горски пожар? Сам Алтман, Изпълнителен директор на OpenAI, открито призна, че изследователите, които изненадахме от ChatGPTнезабавен успех. В края на краищата модел със способности, сравними с него, лежеше неактивен на уебсайта им повече от десет месеца в този момент и никой не се справяше със задачата.
| Повече ▼: ChatGPT издържа изпита Wharton MBA |
Невероятно е, но изглежда, че новият удобен за потребителя интерфейс е ключът към неговия успех. Същата инструкцияGPT може да бъде достъпен само чрез уникален API интерфейс, ограничавайки достъпа на хората до модела. ChatGPT, от друга страна, използва добре познатия интерфейс „диалогов прозорец“ на месинджърите. Освен това, тъй като ChatGPT беше достъпен за всички наведнъж, блъсканица от индивиди побърза да взаимодейства с невронната мрежа, да ги провери и да ги публикува на социална медия, рекламиране на другите.
| Повече ▼: Американската образователна система има остра нужда от 300 XNUMX учители - но ChatGPT може да е отговорът |
Освен страхотната технология, още нещо беше направено правилно OpenAI: маркетинг. Дори да имате най-добрия модел или най-интелигентния чатбот, ако той няма лесен за използване интерфейс, никой няма да се интересува от него. В тази връзка, ChatGPT постигна пробив, като представи технологията на широката публика, използвайки обичайния диалогов прозорец, в който услужлив робот „отпечатва“ решението точно пред очите ни, дума по дума.
Не е изненадващо, ChatGPT достигна всички предишни рекорди за привличане на нови потребители, надхвърляйки крайъгълния камък от 1 милион потребители само за пет дни от стартирането му и преминавайки 100 милиона потребители само за два месеца.
Разбира се, там, където има рекорден скок на потребителите, има огромни пари. Китайците спешно обявиха предстоящото освобождаване на собствените си чатбота, Microsoft бързо сключи сделка OpenAI да инвестират десетки милиарди долари в тях, а инженерите на Google бият тревога и започват да формулират планове за защита на тяхната услуга за търсене от конкуренцията с невронната мрежа.
Резюме: Когато ChatGPT моделът беше представен през ноември 2022 г., нямаше забележим технологичен напредък. Той обаче имаше удобен интерфейс за ангажиране на потребителите и отворен достъп, което веднага предизвика огромен прилив на реклама. Тъй като това е най-важният въпрос в съвременния свят, всички веднага се заеха с езиковите модели.
Прочетете повече за AI:
Отказ от отговорност
В съответствие с Доверете се насоките на проекта, моля, имайте предвид, че предоставената на тази страница информация не е предназначена да бъде и не трябва да се тълкува като правен, данъчен, инвестиционен, финансов или каквато и да е друга форма на съвет. Важно е да инвестирате само това, което можете да си позволите да загубите, и да потърсите независим финансов съвет, ако имате някакви съмнения. За допълнителна информация предлагаме да се обърнете към правилата и условията, както и към страниците за помощ и поддръжка, предоставени от издателя или рекламодателя. MetaversePost се ангажира с точно, безпристрастно отчитане, но пазарните условия подлежат на промяна без предизвестие.
За автора
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
Още статии
Дамир е ръководител на екип, продуктов мениджър и редактор в Metaverse Post, обхващащи теми като AI/ML, AGI, LLMs, Metaverse и Web3- свързани полета. Статиите му привличат огромна аудитория от над милион потребители всеки месец. Изглежда, че е експерт с 10 години опит в SEO и дигитален маркетинг. Дамир е споменат в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto и други публикации. Той пътува между ОАЕ, Турция, Русия и ОНД като дигитален номад. Дамир получава бакалавърска степен по физика, която според него му е дала уменията за критично мислене, необходими за успех в непрекъснато променящия се пейзаж на интернет.
