T9 時代からのチャットボットの進化と GPT-1 〜へ ChatGPT
最近、大規模なニューラル ネットワークによって破られた最新の記録や、ほとんどの人の仕事が安全ではない理由についてのニュース投稿がほぼ毎日投稿されています。 それにもかかわらず、ニューラルネットワークがどのように機能するかを知っている人はほとんどいません。 ChatGPT 実際に操作します。
だから、リラックスしてください。 あなたの仕事の見通しについてまだ嘆いてはいけません。 この投稿では、誰もが理解できる方法で、ニューラル ネットワークについて知っておくべきことをすべて説明します。
始める前の注意: この作品はコラボレーションです。 技術的な部分全体は、AI の群衆の間でよく知られている AI の専門家によって書かれました。
その方法についてはまだ誰も詳しく書いていないので、 ChatGPT 平たく言うとニューラル ネットワークの詳細を説明する作業を行うことにしました。 読者がこの投稿を読んで言語ニューラル ネットワークの原理を一般的に理解できるように、この投稿をできるだけシンプルにするよう努めました。 その方法を調べてみましょう 言語モデル そこで機能するもの、ニューラル ネットワークがどのように進化して現在の機能を備えたのか、そしてその理由 ChatGPT』の爆発的な人気には制作者も驚きました。
基本から始めましょう。 理解するために ChatGPT 技術的な観点から見ると、まずそれが何ではないのかを理解する必要があります。 これはマーベル・コミックのジャーヴィスではありません。 それは合理的な存在ではありません。 それは魔神ではありません。 ショックを受ける準備をしてください: ChatGPT 実はあなたの携帯電話の T9 はステロイドを強化したものなのです! はい、そうです。科学者はこれらのテクノロジーを両方とも次のように呼んでいます。 「言語モデル」。 ニューラル ネットワークが行うのは、次に来る単語を推測することだけです。
元の T9 テクノロジーは、次の単語ではなく現在の入力を推測することによって、プッシュ ボタンの電話ダイヤルを高速化しただけでした。 しかし、技術が進歩し、2010 年代初頭のスマートフォンの時代までには、文脈と前の単語を考慮し、句読点を追加し、次に進む単語の選択を提供できるようになりました。 これはまさに、T9 やオートコレクトの「高度な」バージョンとの類似性です。
その結果、スマートフォンのキーボードの T9 と ChatGPT ばかばかしいほど単純なタスクを解決するように訓練されている: 次の単語を予測します。 これは「言語モデリング」として知られており、既存のテキストに基づいて次に何を書くべきかを決定するときに発生します。 言語モデルは、そのような予測を行うために、特定の単語の出現確率に基づいて動作する必要があります。 結局のところ、携帯電話の自動入力が同じ確率で完全にランダムな単語を投げてきたら、イライラするでしょう.
わかりやすくするために、友人からメッセージを受け取ったとしましょう。 「今夜の予定は？」と書かれています。 それに応じて、「I'm going to…」と入力し始めます。ここで T9 の出番です。「I'm going to the moon」のような完全に無意味なことを思いつくかもしれません。複雑な言語モデルは必要ありません。 優れたスマートフォンのオートコンプリート モデルは、はるかに関連性の高い単語を提案します。
では、T9 はどのようにして、すでに入力されたテキストに続く可能性が高い単語と、明らかに意味をなさない単語を知るのでしょうか? この質問に答えるには、まず最も単純なシステムの基本的な動作原理を検討する必要があります。 ニューラルネットワーク.
AI モデルが次の単語を予測する方法
より簡単な質問から始めましょう: あるものと他のものとの相互依存性をどのように予測しますか? 身長に基づいて人の体重を予測するようにコンピューターに教えたいとします。 最初に関心のある領域を特定してから、関心のある依存関係を検索するためのデータを収集してから、 数学的モデルを「トレーニング」する このデータ内のパターンを探します。
簡単に言うとT9とか ChatGPT は、次のことを試みるために巧妙に選択された方程式です。 予測する モデル入力に与えられた前の単語 (X) のセットに基づく単語 (Y)。 トレーニングするとき 言語モデル データセットの主なタスクは、ある種の依存関係を真に反映するこれらの x の係数を選択することです (身長と体重の例のように)。 また、大規模なモデルによって、多数のパラメーターを持つモデルをよりよく理解できます。 の分野で 人工知能、それらは大規模言語モデル、または略してLLMと呼ばれます。 後で説明するように、適切なテキストを生成するには、多くのパラメーターを持つ大規模なモデルが不可欠です。
ところで、なぜ私たちが常に「次の単語を予測する」ことについて話しているのか疑問に思っているなら、 ChatGPT テキストの段落全体をすぐに返します。答えは簡単です。 確かに、言語モデルは長いテキストを難なく生成できますが、プロセス全体は単語ごとに行われます。 新しい単語が生成されるたびに、モデルは新しい単語を含むすべてのテキストを単純に再実行して次の単語を生成します。 このプロセスは、応答全体を取得するまで何度も繰り返されます。
特定のテキストに対して「正しい」単語を見つけようとし続けるのはなぜですか?
言語モデルは、特定のテキストに出現するさまざまな単語の確率を予測しようとします。 なぜこれが必要なのですか? また、「最も正しい」単語を探し続けることができないのはなぜですか? このプロセスがどのように機能するかを説明するために、簡単なゲームを試してみましょう。
ルールは次のとおりです。「米国の第 44 代大統領 (およびこの地位にある最初のアフリカ系アメリカ人) はバラクです…」という文を続けることを提案します。 次に行くべき言葉は何ですか？ それが起こる可能性はどのくらいですか？
次の単語が「オバマ」になると 100% 確実に予測した場合、あなたは間違っていました。 ここで重要なのは、別の神話上のバラクがいるということではありません。 それははるかに些細なことです。 公式文書は通常、大統領のフルネームを使用します。 これは、オバマのファーストネームに続くものが彼のミドルネームであるフセインになることを意味します。 したがって、私たちの文では、適切に訓練された言語モデルは、90% の条件付き確率でのみ「オバマ」が次の単語になると予測し、テキストが「フセイン」に続く場合に残りの 10% を割り当てる必要があります (その後オバマはほぼ 100% の確率でフォローします)。
そして今、言語モデルの興味深い側面にたどり着きました。それは、言語モデルは創造的な筋の影響を受けないということです! 実際、次の各単語を生成するとき、そのようなモデルはサイコロを投げるかのように「ランダム」な方法で単語を選択します。 異なる単語が「脱落」する確率は、モデル内に挿入された方程式によって提案される確率に多かれ少なかれ対応します。 これらは、モデルに与えられたさまざまなテキストの膨大な配列から派生しています。
モデルは、生きている人間と同じように、同じ要求に対して異なる応答をすることができます。 研究者は通常、ニューロンに常に「最も可能性の高い」次の単語を選択させようと試みてきましたが、これは一見合理的に見えますが、実際にはそのようなモデルのパフォーマンスは低下します。 かなりの量のランダム性は、変動性と回答の質を高めるため、有利なようです。
私たちの言語は、規則と例外の異なるセットを持つ独自の構造を持っています。 文章に現れる単語にはリズムと理由があり、ランダムに現れるだけではありません。 誰もが、形成期の初期に使用する言語のルールを無意識のうちに学習します。
適切なモデルは、言語の幅広い記述性を考慮に入れる必要があります。 モデルの 望む結果を生み出す能力 文脈の機微に基づいて単語の確率をどれだけ正確に計算するかに依存します (状況を説明するテキストの前のセクション)。
概要: 入力ソース テキストに基づいて次の単語を予測するために膨大な量のデータでトレーニングされた一連の方程式である単純な言語モデルは、9 年代初頭からスマートフォンの「T2010/Autofill」機能に実装されています。
GPT-1: 業界を爆破する
T9モデルから離れましょう。 あなたはおそらくこの作品を読んでいる間、 について学ぶ ChatGPT、まず、の始まりについて話し合う必要があります。 GPT モデル家族。
GPT 「Generative pre-trained Transformer」の略です。 Google のエンジニアが開発したニューラル ネットワーク アーキテクチャ 2017年はトランスフォーマーとして知られています。 Transformer は、一連のシーケンス (データ) を入力として受け取り、同じ一連のシーケンスを、何らかのアルゴリズムによって変更された別の形式で生成するユニバーサル コンピューティング メカニズムです。
Transformer の作成の重要性は、翻訳、画像、音声、およびビデオ処理など、人工知能 (AI) のすべての分野で積極的に採用および適用されたことに見ることができます。 人工知能 (AI) 部門は、いわゆる「AI の停滞」から急速な発展へと移行し、停滞を克服するという大きな変化を遂げました。
Transformer の主な強みは、拡張が容易なモジュールで構成されています。 一度に大量のテキストを処理するように求められると、変換前の古い言語モデルでは速度が低下します。 一方、Transformer ニューラル ネットワークは、このタスクをはるかにうまく処理します。
以前は、入力データを順番に処理するか、一度に XNUMX つずつ処理する必要がありました。 モデルはデータを保持しません: XNUMX ページの物語で動作する場合、それを読んだ後にテキストを忘れてしまいます。 一方、トランスフォーマーを使用すると、すべてを一度に表示できます。 作成 はるかに驚くべき結果。
これが、ニューラル ネットワークによるテキスト処理のブレークスルーを可能にしたものです。 その結果、モデルはもはや忘れることはありません。以前に書かれた資料を再利用し、コンテキストをよりよく理解し、最も重要なこととして、単語をペアにすることで非常に大量のデータ間の接続を作成できます。
概要 GPT-1は 2018 年にデビューし、スケーラビリティと効率が大幅に向上した Transformer 設計を使用してニューラル ネットワークがテキストを生成できることを実証しました。 言語モデルの量と複雑さを強化することができれば、かなりの予備が生まれるでしょう。
GPT-2: 大規模言語モデルの時代
言語モデルは事前に特別にタグ付けする必要はなく、任意のテキスト データを「フィード」できるため、非常に柔軟になります。 考えてみれば、その能力を使いたいと思うのは当然のことです。 これまでに作成されたテキストは、既製のトレーニング データとして機能します。 「多くのいくつかの単語やフレーズ => それらの次の単語」というタイプのシーケンスがすでに非常に多くあるため、これは驚くべきことではありません。
ここで、トランスフォーマーのテクノロジーがテストされたことにも留意しましょう。 GPT-1 スケーリングの点で非常に成功していることが証明されています。大量のデータの処理において、以前のバージョンよりもかなり効率的です。 の研究者たちが、 OpenAI 2019 年にも同じ結論に達しました。「高価な言語モデルを削減する時期が来た!」
トレーニング データ セットとモデル 特にサイズは XNUMX つの重要な領域として選択されました。 GPT-2 抜本的に改善する必要がある。
当時は言語モデルのトレーニング用に特別に設計された巨大で高品質な公開テキスト データ セットがなかったため、AI 専門家の各チームが独自にデータを操作する必要がありました。 の OpenAI そこで人々は、最も人気のある英語フォーラムである Reddit にアクセスし、「いいね！」が 8 つ以上付いたすべての投稿からハイパーリンクをすべて抽出することにしました。 これらのリンクは約 40 万件あり、ダウンロードされたテキストの重さは合計 XNUMX テラバイトに達しました。
最大のパラメータを表す方程式は何個のパラメータを必要としますか GPT-2 2019年モデルはありますか？ おそらく数十万か数百万でしょうか？ では、さらに詳しく見てみましょう。この式には、そのようなパラメータが最大 1.5 億個含まれていました。 これだけの数値をファイルに書き込み、コンピューターに保存するだけでも 6 テラバイトかかります。 モデルはこのテキストを全体として記憶する必要がないため、一方では、これはモデルをトレーニングしたテキスト データ配列の総量よりもはるかに少なくなります。 人間が書いたテキストから分離できるいくつかの依存関係 (パターン、ルール) を見つけるだけで十分です。
モデルが確率をより正確に予測し、モデルに含まれるパラメーターが増えるほど、モデルに組み込まれる方程式はより複雑になります。 そうすることで信頼性の高い文章が生まれます。 さらに、 GPT-2 モデルは非常にうまく機能し始めたので、 OpenAI 研究者 安全上の理由からモデルを公に公開することさえ躊躇した。
モデルが大きくなると、突然新しい性質を持ち始めるのは非常に興味深いことです (単に電話で次の言葉を口述するのではなく、まとまりのある意味のあるエッセイを書く能力など)。
この時点で量から質への変化が起こります。 さらに、それは完全に非線形に発生します。 たとえば、パラメーターの数が 115 億 350 万から 700 億 XNUMX 万に XNUMX 倍に増加しても、問題を正確に解決するモデルの能力に目に見える影響はありません。 ただし、XNUMX 倍の XNUMX 億に増加すると、ニューラル ネットワークが「光を見て」、タスクを完了する能力ですべての人を驚かせ始めるという質的な飛躍が生まれます。
概要: 2019 年に導入されました。 GPT-2, モデルのサイズ (パラメーターの数) とトレーニング テキスト データの量の点で、以前のバージョンを 10 倍上回っています。 この量的な進歩により、モデルは予想外に質的に新しい才能を獲得しました。 長文を書く 明確な意味を持ち、世界観の基礎を必要とする困難な問題を解決します。
GPT-3: めちゃくちゃ賢い
一般に、2020 年リリースの GPT-3シリーズの次世代である、すでに 116 倍のパラメータ、最大 175 億、驚異的な 700 テラバイトを誇っています。
GPT-3 それほど劇的ではありませんが、トレーニング データ セットも拡張されました。 容量は 10 倍近くの 420 GB に増加し、大量の書籍が含まれるようになりました。 Wikiペディアの記事、および他の Web サイトからのその他のテキスト。 人間がノンストップで読み続けるには約50年かかり、不可能な偉業です。
興味深い違いにすぐに気づきます。 GPT-2、モデル自体は、トレーニング用のテキストの配列全体 (700 GB) よりも 420 GB 大きくなりました。 これは、ある意味、逆説であることがわかります。この例では、「ニューロブレイン」が生データを研究すると、元のデータよりも体積的に豊富な、データ内のさまざまな相互依存関係に関する情報が生成されます。
モデルの一般化の結果、以前よりもさらにうまく外挿できるようになり、トレーニング中にほとんど発生しないかまったく発生しなかったテキスト生成タスクでも成功するようになりました。 これで、特定の問題に取り組む方法をモデルに教える必要はなくなりました。 それらを説明し、いくつかの例を示すだけで十分です。 GPT-3 すぐに学習します。
「万能脳」 の形で GPT-3 最終的には、初期の特殊なモデルの多くを打ち負かしました。 例えば、 GPT-3 フランス語やドイツ語からのテキストの翻訳を、この目的のために特別に作成されたこれまでのどのニューラル ネットワークよりも高速かつ正確に開始しました。 どうやって？ ここで議論している言語モデルの唯一の目的は、指定されたテキスト内の次の単語を予測することであることを思い出してください。
さらに驚くべきことに、 GPT-3 独学で数学を学ぶことができました！ 以下のグラフは、さまざまな数のパラメーターを使用した最大 10 桁の整数の加算と減算、乗算を含むタスクでニューラル ネットワークがどの程度うまく機能するかを示しています。 ご覧のとおり、ニューラル ネットワークは、100 億のパラメーターを持つモデルから XNUMX 億のパラメーターを持つモデルに移行するときに、突然数学で「できる」ようになります。
前述のグラフの最も興味深い特徴は、モデルのサイズが (左から右に) 増加しても、最初は何も変化していないように見えますが、突然 p 倍になることです。 質的な変化が起こり、 GPT-3 特定の問題を解決する方法を「理解し」始めます。 それがどのように、何を、なぜ機能するのかについては誰も確信がありません。 それでも、数学だけでなく、他のさまざまな困難でも機能するようです。
前述のグラフの最も興味深い特徴は、モデルのサイズが増加しても、最初は何も変わっていないように見え、その後、 GPT-3 質的な飛躍を遂げ、特定の問題を解決する方法を「理解」し始めます。
以下の gif は、パラメーターの数が増加するにつれて、誰も意図的に計画していない新しい能力がモデル内でどのように「芽吹く」かを単に示しています。
概要 パラメータに関しては、2020 GPT-3 は以前のものより 100 倍大きく、トレーニング テキスト データは 10 倍大きくなりました。 品質が急激に向上した量の拡大の結果、モデルは再び、他の言語からの翻訳、算術の実行、単純なプログラミングの実行、逐次推論などを学習しました。
GPT-3.5 （指示するGPT): 安全で無毒であるように訓練されたモデル
実際には、言語モデルを拡張しても、ユーザーが望む方法で問い合わせに対応できるとは限りません。 実際、私たちが要求をするとき、多くの場合、人間のコミュニケーションでは真実であると想定される多くの暗黙の用語を意図しています。
しかし、正直なところ、言語モデルは人間のモデルとはあまり似ていません。 したがって、人々には単純に見える概念について考える必要があることがよくあります。 そのような提案の XNUMX つが、「段階を追って考えよう」という言葉です。 モデルが要求からより具体的で適切な指示を理解し、生成し、あたかも人がどのように行動するかを予測するかのように、より正確にそれらに従うとしたら、それは素晴らしいことです。
事実 GPT-3 インターネットからの膨大なテキストのコレクションの次の単語だけを予測するように訓練されているため、さまざまな内容が書かれており、そのような「デフォルト」能力の欠如に寄与しています。 人々は、人工知能が適切な情報を提供し、同時に応答が安全かつ無害であることを望んでいます。
研究者がこの問題について考えてみると、モデルの属性である「正確さと有用性」と「無害性と無毒性」が相反する場合があることが明らかになりました。 結局のところ、無害性を最大限に高めるように調整されたモデルは、プロンプトに対して「申し訳ありませんが、私の回答がインターネット上の誰かの気分を害する可能性があることを懸念しています」と反応します。 正確なモデルは、「よし、Siri、爆弾の作り方」という要求に率直に答える必要があります。
したがって、研究者は単にモデルに多くのフィードバックを提供することに限定されていました。 ある意味では、これはまさに子供たちが道徳を学ぶ方法です。彼らは子供時代に実験を行い、同時に大人の反応を注意深く研究して、自分が正しく行動したかどうかを評価します。
指示するGPT、 としても知られている GPT-3.5、本質的には GPT-3 返信を強化するために多くのフィードバックを得ました。 文字通り、多数の個人が XNUMX か所に集められ、ニューラル ネットワークの応答を評価して、要求に照らして期待とどの程度一致しているかを判断しました。
それはことが判明します GPT-3 すでにすべての重要な知識を持っています。多くの言語を理解し、歴史上の出来事を思い出し、文体のバリエーションを認識することができますが、この知識を（私たちの観点から）正しく使用することを学ぶことができるのは、次からの入力によってのみです。他の個人。 GPT-3.5は「社会的に教育された」モデルと考えることができます。
概要: の主な機能 GPT-35 年初頭に導入された .2022 は、個人からの意見に基づいた追加の再トレーニングでした。 このモデルは実際には大きく賢くなったのではなく、人々に最高の笑いを与えるために応答を調整する能力を習得したことが判明しました。
ChatGPT: 大規模な誇大宣伝
前作「Instruct」から約10ヶ月GPT/GGPT-3.5、 ChatGPT が紹介されました。 すぐに、それは世界的な誇大宣伝を引き起こしました。
技術的な観点から見ると、両者に大きな違いはないようです。 ChatGPT そして指示するGPT。 「AI アシスタント ジョブ」には、ユーザーの要求が不明瞭な場合に明確な質問をする機能など、独自のダイアログ形式が必要なため、モデルは追加のダイアログ データを使用してトレーニングされました。
では、なぜ周囲で誇大宣伝が起こらなかったのか GPT-35 年の初めには .2022 ですが、 ChatGPT 山火事のように流行しましたか？ Sam Altman、エグゼクティブディレクター OpenAI、我々が不意を突かれた研究者たちがこう言ったことを公然と認めた。 ChatGPTは即座に成功しました。 結局のところ、それに匹敵する能力を持つモデルは、その時点で XNUMX か月以上もウェブサイト上に眠っており、誰もその任務に就くことはできませんでした。
信じられないことですが、ユーザーフレンドリーな新しいインターフェースが成功の鍵となっているようです。 同じ指示GPT 独自の API インターフェイスを介してのみアクセスできるため、モデルへのユーザーのアクセスが制限されていました。 ChatGPT一方、ob はメッセンジャーのよく知られた「ダイアログ ウィンドウ」インターフェイスを使用します。 また、以来、 ChatGPT 誰もが一度に利用できるようになると、人々が殺到してニューラル ネットワークとやり取りし、スクリーニングし、投稿しようとしました。 ソーシャルメディア、他の人を誇大宣伝します。
優れたテクノロジーとは別に、別のことが正しく行われました OpenAI： マーケティング。 たとえ最高のモデルや最もインテリジェントなチャットボットを持っていたとしても、使いやすいインターフェイスがなければ誰も興味を持ちません。 この点について、 ChatGPT は、通常のダイアログ ボックスを使用してこのテクノロジーを一般の人々に紹介することで画期的な進歩を遂げました。ダイアログ ボックスでは、役に立つロボットが目の前で解決策を一語一語「印刷」します。
当然ながら、 ChatGPT 新規ユーザー獲得のこれまでの記録をすべて達成し、サービス開始からわずか 1 日でユーザー 100 万人のマイルストーンを突破し、わずか XNUMX か月でユーザー数 XNUMX 億人を突破しました。
もちろん、記録破りのユーザー数の急増があるところには、途方もないお金があります。 中国人は緊急に彼ら自身の差し迫った解放を発表しました チャットボット, Microsoftはすぐに契約を締結しました。 OpenAI 数百億ドルを投資することになったため、Google のエンジニアは警鐘を鳴らし、自社の検索サービスをニューラル ネットワークとの競合から保護する計画を策定し始めました。
概要 時 ChatGPT モデルは 2022 年 XNUMX 月に導入されましたが、目立った技術的進歩はありませんでした。 しかし、ユーザーの関与とオープンアクセスのための便利なインターフェースを備えていたため、すぐに大規模な誇大広告が巻き起こりました。 これは現代世界において最も重要な問題であるため、誰もがすぐに言語モデルに取り組み始めました。
AI について詳しく読む:
免責事項
に沿って トラストプロジェクトのガイドライン, このページで提供される情報は、法律、税金、投資、財務、またはその他の形式のアドバイスを目的としたものではなく、そのように解釈されるべきではないことに注意してください。 損失しても許容できる金額のみを投資し、疑問がある場合は独立した財務上のアドバイスを求めることが重要です。 詳細については、利用規約のほか、発行者または広告主が提供するヘルプおよびサポート ページを参照することをお勧めします。 MetaversePost は正確で公平なレポートに努めていますが、市場の状況は予告なく変更される場合があります。
著者について
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
より多くの記事
Damir は、チームリーダー、プロダクトマネージャー、編集者です。 Metaverse PostAI/ML、AGI、LLM、メタバース、 Web3に関連するフィールド。 彼の記事は、毎月 10 万人を超えるユーザーという膨大な読者を魅了しています。 彼はSEOとデジタルマーケティングでXNUMX年の経験を持つ専門家のようです。 ダミールはMashable、Wired、 Cointelegraph、The New Yorker、Inside.com、Entrepreneur、BeInCrypto、およびその他の出版物。 彼はデジタル遊牧民として UAE、トルコ、ロシア、CIS の間を旅しています。 ダミールは物理学の学士号を取得しており、これにより、インターネットの絶え間なく変化する状況で成功するために必要な批判的思考スキルが身についたと信じています。
