Еволюція чат-ботів від T9-Era та GPT-1 до ChatGPT
Останнім часом нас майже щодня засипають повідомленнями про останні рекорди, побиті великомасштабними нейронними мережами, і про те, чому майже нічия робота не є безпечною. Тим не менш, мало хто знає, як нейронні мережі ChatGPT фактично діють.
Отже, розслабся. Поки що не журіться про свої перспективи роботи. У цій публікації ми пояснимо все, що потрібно знати про нейронні мережі, доступним для кожного способом.
Застереження перед тим, як ми почнемо: цей твір є результатом співпраці. Вся технічна частина була написана фахівцем зі штучного інтелекту, який добре відомий серед натовпу AI.
Оскільки ніхто ще не написав докладної статті про те, як ChatGPT ми вирішили зробити це для вас. Ми намагалися зробити цю публікацію максимально простою, щоб читачі могли вийти з цієї публікації із загальним розумінням принципів мовних нейронних мереж. Ми з’ясуємо, як це зробити мовні моделі роботи там, як нейронні мережі еволюціонували, щоб мати свої поточні можливості, і чому ChatGPTВибухова популярність здивувала навіть її творців.
Почнемо з основ. Зрозуміти ChatGPT з технічної точки зору, ми повинні спочатку зрозуміти, чим це не є. Це не Джарвіс від Marvel Comics; це не розумна істота; це не джин. Будьте шоковані: ChatGPT насправді T9 вашого мобільного телефону на стероїдах! Так, це так: вчені називають обидві ці технології «Мовні моделі». Усе, що роблять нейронні мережі, це вгадувати, яке слово має бути наступним.
Оригінальна технологія T9 лише пришвидшила кнопковий набір телефону завдяки вгадуванню поточного введення, а не наступного слова. Проте технологія прогресувала, і до епохи смартфонів на початку 2010-х років вона змогла враховувати контекст і попереднє слово, додавати розділові знаки та пропонувати вибір слів, які могли б бути наступними. Саме таку аналогію ми проводимо з такою «розширеною» версією T9 або автовиправлення.
В результаті і T9 на клавіатурі смартфона, і ChatGPT були навчені вирішувати неймовірно просте завдання: передбачення наступного слова. Це відоме як «моделювання мови» і відбувається, коли приймається рішення про те, що слід написати далі на основі наявного тексту. Мовні моделі повинні оперувати ймовірностями появи конкретних слів, щоб зробити такі прогнози. Зрештою, ви б роздратувалися, якби автозаповнення вашого телефону просто викинуло вам абсолютно випадкові слова з такою ж імовірністю.
Для наочності уявімо, що ви отримуєте повідомлення від друга. Там написано: «Які у вас плани на вечір?» У відповідь ви починаєте вводити: «Я збираюся…», і тут з’являється T9. Він може придумати абсолютно безглузді речі, як-от «Я йду на Місяць», складна мовна модель не потрібна. Хороші моделі автозаповнення смартфонів пропонують набагато більше релевантних слів.
Отже, як Т9 дізнається, які слова, швидше за все, слідуватимуть за вже набраним текстом, а які явно не мають сенсу? Щоб відповісти на це питання, ми повинні спочатку вивчити фундаментальні принципи роботи найпростіших нейронні мережі.
- Як моделі ШІ передбачають наступне слово
- Чому ми продовжуємо намагатися знайти «правильні» слова для певного тексту?
- GPT-1: Підрив промисловості
- GPT-2: Епоха великих мовних моделей
- GPT-3: Розумний як біс
- GPT-3.5 (ІнструкціяGPT): модель навчена бути безпечною та нетоксичною
- ChatGPT: Величезний сплеск ажіотажу
Як моделі ШІ передбачають наступне слово
Почнемо з більш простого запитання: як передбачити взаємозалежність одних речей від інших? Припустімо, ми хочемо навчити комп’ютер передбачати вагу людини на основі її зросту — як нам це зробити? Спочатку ми повинні визначити сфери інтересів, а потім зібрати дані, на основі яких можна було б шукати залежності, що цікавлять, а потім спробувати «навчити» якусь математичну модель шукати шаблони в цих даних.
Простіше кажучи, Т9 або ChatGPT це просто вміло підібрані рівняння, які намагаються передбачати слово (Y) на основі набору попередніх слів (X), поданих у вхідні дані моделі. Під час навчання a мовна модель на наборі даних головним завданням є вибір коефіцієнтів для цих іксів, які справді відображають певну залежність (як у нашому прикладі з ростом і вагою). А за великими моделями ми зможемо краще зрозуміти ті, що мають велику кількість параметрів. В області с штучний інтелект, вони називаються великими мовними моделями або скорочено LLM. Як ми побачимо пізніше, велика модель із багатьма параметрами необхідна для створення гарного тексту.
До речі, якщо вам цікаво, чому ми постійно говоримо про «передбачення наступного слова», а ChatGPT швидко відповідає цілими абзацами тексту, відповідь проста. Звичайно, мовні моделі можуть створювати довгі тексти без труднощів, але весь процес відбувається слово за словом. Після створення кожного нового слова модель просто повторно запускає весь текст із новим словом, щоб створити наступне слово. Процес повторюється знову і знову, доки ви не отримаєте повну відповідь.
Чому ми продовжуємо намагатися знайти «правильні» слова для певного тексту?
Мовні моделі намагаються передбачити ймовірність різних слів, які можуть зустрічатися в певному тексті. Навіщо це потрібно і чому не можна просто шукати «найправильніше» слово? Давайте спробуємо просту гру, щоб проілюструвати, як працює цей процес.
Правила такі: я пропоную вам продовжити речення: «44-м президентом Сполучених Штатів (і першим афроамериканцем на цій посаді) є Барак…». Яке слово має бути наступним? Яка ймовірність, що це відбудеться?
Якщо ви зі 100% упевненістю передбачили, що наступним словом буде «Обама», ви помилилися! І справа тут не в тому, що існує ще один міфічний Барак; це набагато тривіальніше. В офіційних документах зазвичай використовується повне ім'я президента. Це означає, що те, що йде після імені Обами, буде його другим ім’ям Хусейн. Отже, у нашому реченні належним чином навчена мовна модель повинна передбачити, що наступним словом буде «Обама» лише з умовною ймовірністю 90%, і виділити решту 10%, якщо текст продовжиться словом «Хусейн» (після чого Обама буде слідувати з імовірністю, близькою до 100%).
А тепер ми підходимо до інтригуючого аспекту мовних моделей: вони не захищені від творчих смуг! Насправді, генеруючи кожне наступне слово, такі моделі вибирають його «випадковим» способом, ніби кидають кубик. Імовірність «випадання» різних слів більш-менш відповідає ймовірностям, запропонованим рівняннями, вставленими в модель. Вони отримані з величезного масиву різних текстів, які були використані для моделі.
Виявляється, на одні і ті ж прохання модель може реагувати по-різному, як і жива людина. Дослідники зазвичай намагалися змусити нейрони завжди вибирати «найвірогідніше» наступне слово, але хоча на перший погляд це здається раціональним, насправді такі моделі працюють гірше. Здається, достатня доза випадковості є перевагою, оскільки збільшує варіативність і якість відповідей.
Наша мова має унікальну структуру з різними наборами правил і винятків. Існує рима та причина того, які слова з’являються в реченні, вони не трапляються випадково. Кожна людина несвідомо вивчає правила мови, якою вона користується, у ранньому віці.
Пристойна модель повинна брати до уваги широкий діапазон описовості мови. Модельні здатність давати бажані результати залежить від того, наскільки точно він обчислює ймовірності слів на основі тонкощів контексту (попередній розділ тексту, що пояснює обставину).
Резюме: прості мовні моделі, які являють собою набір рівнянь, навчених на величезній кількості даних для передбачення наступного слова на основі введеного вихідного тексту, були реалізовані у функції «T9/Autofill» смартфонів з початку 2010-х років.
GPT-1: Підрив промисловості
Відійдемо від моделей Т9. Хоча ви, напевно, читаєте цей твір дізнатися про ChatGPT, по-перше, нам потрібно обговорити початок GPT зразкова сім'я.
GPT означає «генеративний попередньо навчений трансформатор», тоді як архітектура нейронної мережі, розроблена інженерами Google у 2017 році відомий як Transformer. Transformer — це універсальний обчислювальний механізм, який приймає набір послідовностей (даних) як вхідні дані та створює той самий набір послідовностей, але в іншій формі, яка була змінена певним алгоритмом.
Значимість створення Трансформера можна побачити в тому, наскільки агресивно він був прийнятий і застосований у всіх сферах штучного інтелекту (ШІ): переклад, обробка зображень, звуку та відео. Сектор штучного інтелекту (ШІ) пережив потужний струс, перейшовши від так званого «застою ШІ» до стрімкого розвитку та подолання стагнації.
Основна сила Transformer складається з модулів, які легко масштабувати. Коли їх просять обробити велику кількість тексту одночасно, старі моделі мови до трансформації сповільнюватимуться. Трансформаторні нейронні мережі, навпаки, справляються з цим завданням набагато краще.
Раніше вхідні дані потрібно було обробляти послідовно або по одному. Модель не зберігає дані: якби вона працювала з оповіддю на одній сторінці, вона забула б текст після його прочитання. Тим часом, Трансформер дозволяє бачити все відразу, виробництво значно більш приголомшливі результати.
Саме це дозволило здійснити прорив в обробці текстів нейронними мережами. Як наслідок, модель більше не забуває: вона повторно використовує раніше написаний матеріал, краще розуміє контекст і, що найважливіше, здатна створювати зв’язки між надзвичайно великими обсягами даних шляхом поєднання слів.
Основна інформація: GPT-1, який дебютував у 2018 році, продемонстрував, що нейронна мережа може створювати тексти за допомогою конструкції Transformer, яка значно покращила масштабованість та ефективність. Якби було можливо збільшити кількість і складність мовних моделей, це створило б значний резерв.
GPT-2: Епоха великих мовних моделей
Мовні моделі не потребують спеціального тегування заздалегідь, їх можна «годувати» будь-якими текстовими даними, що робить їх надзвичайно гнучкими. Якщо ви трохи подумаєте, здається розумним, що ми хочемо використати його можливості. Будь-який текст, який коли-небудь був написаний, служить готовими навчальними даними. Оскільки існує вже дуже багато послідовностей типу «багато якихось слів і фраз => наступне слово після них», це не дивно.
| Детальніше: ChatGPTПробудження злого Elter Ego на Reddit |
Тепер давайте також мати на увазі, що технологія Transformers перевірена на GPT-1 виявився досить успішним з точки зору масштабування: він значно ефективніший за своїх попередників у обробці великих обсягів даних. Виявляється, дослідники с OpenAI у 2019 році дійшов такого ж висновку: «Пора скорочувати дорогі мовні моделі!»
Команда навчальний набір даних і модель розмір, зокрема, було обрано як дві ключові області, де GPT-2 необхідно було кардинально покращити.
Оскільки на той час не було величезних високоякісних публічних наборів текстових даних, спеціально розроблених для навчання мовних моделей, кожній команді експертів зі штучного інтелекту доводилося маніпулювати даними самостійно. The OpenAI Тоді люди вирішили піти на Reddit, найпопулярніший англомовний форум, і отримати всі гіперпосилання з кожного окремого допису, який отримав більше трьох лайків. Таких посилань було майже 8 мільйонів, а завантажені тексти важили 40 терабайт.
| Детальніше: Microsoft збирається комерціалізувати ChatGPT оскільки вона прагне допомогти іншим компаніям |
Яку кількість параметрів отримало рівняння, що описує найбільше GPT-2 модель 2019 року? Можливо, сто тисяч чи кілька мільйонів? Що ж, підемо ще далі: формула містила до 1.5 мільярда таких параметрів. Щоб просто записати таку кількість чисел у файл і зберегти його на комп’ютері, знадобиться 6 терабайт. Модель не повинна запам'ятовувати цей текст в цілому, тому, з одного боку, це набагато менше, ніж загальний обсяг масиву текстових даних, на якому навчалася модель; їй достатньо просто знайти якісь залежності (шаблони, правила), які можна виділити з текстів, написаних людьми.
Чим краще модель прогнозує ймовірність і чим більше параметрів вона містить, тим складніше рівняння включено в модель. Це створює достовірний текст. Крім того, GPT-2 модель почала працювати настільки добре, що OpenAI Дослідники навіть не бажали розкривати модель у відкритому доступі з міркувань безпеки.
Дуже цікаво, що коли модель стає більшою, вона раптом починає мати нові якості (наприклад, здатність писати зв’язні, змістовні есе замість того, щоб просто диктувати наступне слово по телефону).
У цей момент відбувається перехід від кількості до якості. Крім того, це відбувається абсолютно нелінійно. Наприклад, триразове збільшення кількості параметрів зі 115 до 350 мільйонів не має помітного впливу на здатність моделі точно вирішувати проблеми. Однак дворазове збільшення до 700 мільйонів дає якісний стрибок, коли нейронна мережа «проглядає» і починає дивувати всіх своєю здатністю виконувати завдання.
Підсумок: у 2019 році було представлено GPT-2, який у 10 разів перевершив свого попередника за розміром моделі (кількістю параметрів) та обсягом навчальних текстових даних. Завдяки цьому кількісному прогресу модель непередбачувано придбала якісно нові таланти, такі як здатність писати розлогі есе з ясним змістом і вирішувати складні проблеми, які потребують основ світогляду.
GPT-3: Розумний як біс
Загалом 2020 року випуску GPT-3, наступне покоління в серії, вже має в 116 разів більше параметрів — до 175 мільярдів і вражаючих 700 терабайт.
Команда GPT-3 Набір навчальних даних також було розширено, хоча й не настільки різко. Він збільшився майже в 10 разів до 420 гігабайт і тепер містить велику кількість книг, Wikiпедійні статті та інші тексти з інших веб-сайтів. Людині знадобиться приблизно 50 років безперервного читання, що робить це неможливим подвигом.
Відразу помічаєш інтригуючу різницю: відмінність GPT-2, сама модель тепер на 700 ГБ більше, ніж весь масив тексту для її навчання (420 ГБ). У певному сенсі це виявляється парадоксом: у цьому випадку, коли «нейромозок» вивчає необроблені дані, він генерує інформацію про різноманітні взаємозалежності в них, яка об’ємно більша, ніж вихідні дані.
У результаті узагальнення моделі тепер вона здатна екстраполювати навіть успішніше, ніж раніше, і успішно виконує навіть завдання генерації тексту, які траплялися рідко або взагалі не виникали під час навчання. Тепер вам не потрібно вчити модель, як вирішувати певну проблему; досить описати їх і навести кілька прикладів, і GPT-3 миттєво навчиться.
Команда «універсальний мозок» у формі GPT-3 зрештою перемогла багато попередніх спеціалізованих моделей. Наприклад, GPT-3 почали перекладати тексти з французької чи німецької швидше й точніше, ніж будь-які попередні нейронні мережі, створені спеціально для цієї мети. як? Нагадаю, що ми обговорюємо лінгвістичну модель, єдиною метою якої було спробувати передбачити наступне слово в даному тексті.
Ще більш вражаюче, GPT-3 зміг навчити себе... математику! На графіку нижче показано, наскільки добре нейронні мережі виконують завдання, включаючи додавання та віднімання, а також множення цілих чисел до п’яти цифр із різною кількістю параметрів. Як бачите, нейронні мережі раптово починають «вміти» в математиці, переходячи від моделей з 10 мільярдами параметрів до моделей зі 100 мільярдами.
| Детальніше: ШІ-перегони великих технологій: Google тестує чат-бота на основі штучного інтелекту у відповідь на ChatGPT |
Найбільш інтригуючою особливістю вищезгаданого графіка є те, що спочатку, здається, нічого не змінюється зі збільшенням розміру моделі (зліва направо), але раптом, p разів! Відбувається якісний зсув, і GPT-3 починає «розуміти», як вирішити певну проблему. Ніхто не впевнений у тому, як, що і чому він працює. Тим не менш, здається, що він працює в різних інших труднощах, а також у математиці.
Найбільш інтригуючою особливістю вищезгаданого графіка є те, що коли розмір моделі збільшується, спочатку здається, що нічого не змінюється, а потім, GPT-3 робить якісний стрибок і починає «розуміти», як вирішити ту чи іншу проблему.
Наведений нижче gif просто демонструє, як нові здібності, які ніхто навмисно не планував, «проростають» у моделі зі збільшенням кількості параметрів:
Основна інформація: За параметрами 2020р GPT-3 був у 100 разів більший, ніж його попередник, тоді як навчальні текстові дані були в 10 разів більші. Знову модель навчилася перекладати з інших мов, виконувати арифметику, виконувати просте програмування, міркувати послідовно та багато іншого в результаті збільшення кількості, яке різко підвищило якість.
| Детальніше: ChatGPT Має проблеми з Дональдом Трампом |
GPT-3.5 (ІнструктуватиGPT): модель навчена бути безпечною та нетоксичною
Насправді розширення мовних моделей не гарантує, що вони реагуватимуть на запити так, як цього хочуть користувачі. Насправді, коли ми робимо запит, ми часто маємо на увазі ряд невисловлених термінів, які в людському спілкуванні вважаються правдивими.
Але, чесно кажучи, мовні моделі не дуже близькі до людських. Тому їм часто потрібно думати про поняття, які здаються людям простими. Однією з таких пропозицій є фраза «давайте думати крок за кроком». Було б фантастично, якби моделі розуміли або генерували більш конкретні та доречні інструкції із запиту та виконували їх більш точно, ніби передбачаючи, як би поводилася людина.
Справа в тому, що GPT-3 навчений лише передбачати наступне слово у величезній колекції текстів з Інтернету, написано багато різного, сприяє відсутності таких здібностей «за замовчуванням». Люди хочуть, щоб штучний інтелект надавав відповідну інформацію, зберігаючи відповіді безпечними та нетоксичними.
Коли дослідники трохи подумали над цим питанням, стало очевидно, що атрибути моделі «точність і корисність» і «нешкідливість і нетоксичність» іноді суперечать один одному. Зрештою, налаштована на максимальну нешкідливість модель відреагує на будь-яку підказку «Вибачте, я стурбований тим, що моя відповідь може образити когось в Інтернеті». Точна модель повинна відверто відповідати на запит: «Добре, Сірі, як створити бомбу».
Тому дослідники обмежилися лише наданням моделі багатьох відгуків. У певному сенсі саме так діти вчаться моралі: вони експериментують у дитинстві і водночас уважно вивчають реакції дорослих, щоб оцінити, чи правильно вони поводилися.
ІнструктажGPT, також відомий як GPT-3.5, по суті GPT-3 який отримав багато відгуків, щоб покращити свої відповіді. Буквально декілька людей були зібрані в одному місці, оцінюючи відповіді нейронної мережі, щоб визначити, наскільки вони відповідали їхнім очікуванням у світлі зробленого запиту.
Виявляється, що GPT-3 вже мав усі необхідні знання: він міг розуміти багато мов, згадувати історичні події, розпізнавати варіації в авторських стилях тощо, але він міг навчитися використовувати ці знання правильно (з нашої точки зору) лише за допомогою вхідних даних від інші особи. GPT-3.5 можна розглядати як «освічену суспільством» модель.
Анотація: Основна функція GPT-3.5, який було запроваджено на початку 2022 року, являв собою додаткову перепідготовку на основі інформації від окремих осіб. Виявляється, ця модель насправді не стала більшою та мудрішою, а навпаки, вона опанувала здатність адаптувати свої відповіді, щоб викликати у людей найдичніший сміх.
| Детальніше: Трафік StackOverflow різко падає ChatGPT запуски |
ChatGPT: Величезний сплеск ажіотажу
Приблизно через 10 місяців після свого попередника InstructGPT/GGPT-3.5, ChatGPT було введено. Це відразу викликало світовий ажіотаж.
З технологічної точки зору між ними немає суттєвих відмінностей ChatGPT і ІнструктGPT. Модель було навчено з додатковими діалоговими даними, оскільки «робота помічника ШІ» вимагає унікального формату діалогу, наприклад, можливість поставити уточнююче запитання, якщо запит користувача незрозумілий.
Отже, чому навколо не було ажіотажу GPT-3.5 на початку 2022 року ChatGPT підхопив, як лісова пожежа? Сем Альтман, Виконавчий директор компанії OpenAI, відкрито визнав, що дослідників ми застали зненацька ChatGPTмиттєвий успіх. Зрештою, модель зі здібностями, порівнянними з нею, на той момент лежала бездіяльною на їхньому веб-сайті більше десяти місяців, і ніхто не вирішував завдання.
| Детальніше: ChatGPT складає іспит Wharton MBA |
Це неймовірно, але схоже, що новий зручний інтерфейс є ключем до його успіху. Те ж ІнструктGPT можна отримати доступ лише через унікальний інтерфейс API, що обмежує доступ людей до моделі. ChatGPT, з іншого боку, використовує добре відомий інтерфейс «діалогового вікна» месенджерів. Крім того, оскільки ChatGPT був доступний для всіх відразу, тиснява людей поспішала взаємодіяти з нейронною мережею, перевіряти їх і публікувати на соціальні медіа, розкручуючи інших.
| Детальніше: Американська система освіти гостро потребує 300 тисяч вчителів, але ChatGPT може бути відповіддю |
Крім чудової технології, ще одна річ була зроблена правильно OpenAI: маркетинг. Навіть якщо у вас найкраща модель чи найрозумніший чат-бот, якщо він не має зручного інтерфейсу, він нікому не буде цікавий. Щодо цього, ChatGPT досяг прориву, представивши технологію широкому загалу за допомогою звичайного діалогового вікна, у якому помічний робот «друкує» рішення прямо перед нашими очима, слово за словом.
Не дивно, що ChatGPT побив усі попередні рекорди щодо залучення нових користувачів, перевищивши позначку в 1 мільйон користувачів лише за п’ять днів після запуску та перевищивши 100 мільйонів користувачів лише за два місяці.
Звісно, там, де спостерігається рекордний сплеск користувачів, крутяться величезні гроші. Китайці терміново оголосили про швидкий випуск своїх Chatbot, Microsoft швидко уклала угоду OpenAI інвестувати в них десятки мільярдів доларів, і інженери Google забили на сполох і почали розробляти плани захисту свого пошукового сервісу від конкуренції з нейронною мережею.
Основна інформація: Коли ChatGPT модель була представлена в листопаді 2022 року, помітних технологічних досягнень не було. Однак він мав зручний інтерфейс для взаємодії з користувачами та відкритий доступ, що одразу викликало масовий сплеск ажіотажу. Оскільки це найактуальніша проблема сучасного світу, всі відразу взялися за мовні моделі.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
