ソラの台頭: AI の再構築方法defiビデオコンテンツ制作の状況を観察する

Adobe は最近、生成 AI ツールを自社の製品に統合する計画を明らかにしました。 Premiere Pro ソフトウェア。この動きには、ユーザーに次のようなツールへのアクセスを許可することが含まれます。 OpenAIPremiere Pro 内に直接組み込まれた Sora は、シーン操作や注意散漫の除去などの AI を活用した機能でソフトウェアを強化することを目的としています。

しかし OpenAIの Sora は現在一般公開されていませんが、Adobe はリリースの具体的なスケジュールを提示せずに、実験的な機能として Premiere Pro への統合を実証しました。

画期的な成果を発表できることを嬉しく思います #ジェネレーティブAI 新しい機能を搭載した #AdobeFirefly ビデオモデル。オブジェクトの追加、オブジェクトの削除、ジェネレーティブ拡張を少しだけ見てみましょう。すべてもうすぐ到着します #プレミアプロ！ 💥 https://t.co/Yg1NxffVNR pic.twitter.com/wa5ivFXAPG

—アドビ（@Adobe） 2024 年 4 月 15 日

Sora は、ビデオ作成のゲームを完全に変えるという期待から注目を集めた進歩的なテキストからビデオへの AI モデルです。このテクノロジーは、ビデオ制作、モーション デザイン、アニメーションに関わるすべての人にとって非常に効果的なツールであると同時に、重大な課題も抱えています。

信じられないほど期待されているソラのあらゆる側面を探ってみましょう。

テキストをビデオに変換しますか?

基本的に Sora は、テキスト プロンプトから生成される、本物そっくりで視覚的に魅力的なビデオを作成するように設計されています。 AI の革新的なアプリケーションとして、Sora はビデオ制作プロセスを合理化し、物語プロセスとビジュアル コミュニケーションに新たな可能性を提供することを目指しています。

Sora の機能は、テキスト コマンドを解釈して実行して魅力的なビデオ コンテンツを作成する機能に根ざしています。 Sora は、高度な深層学習技術と言語理解を活用して、入力テキストを処理し、文字、設定、モーションを含む対応するビジュアル シーンを構築します。このプロセスには、自然言語処理とビデオ合成の間の高度な相互作用が含まれており、提供されたテキスト プロンプトと厳密に一致する出力が生成されます。

ソラの開発にあたっては、 OpenAIのチームは、言語の深い理解と視覚的なストーリーテリングの原則の確実な把握をカプセル化する AI モデルを作成することの重要性を強調しました。自然言語理解とビデオ合成における最先端の進歩を統合することにより、Sora のデザインは言語表現と視覚表現の一貫した融合を優先しています。

どうすればそれも可能ですか？

したがって、Sora は、テキストから画像への変換を行う他の生成 AI と同様の拡散モデルとして機能します。これは、Sora が静的なノイズで各フレームを開始し、その後、指定されたプロンプトと期待される内容の説明に似た描写に画像を変換することを意味します。これは機械学習のおかげで可能になります。 Sora ビデオは最大 60 秒まで続きます。

Sora は、時間的な一貫性を考慮して、複数のビデオ フレームを同時に考慮することで革新をもたらし、オブジェクトがシーン内で移動する際の一貫性を確保します。

ディフュージョン モデルとトランスフォーマー モデルの両方を組み込んだ Sora は、次のようなハイブリッド アプローチに従います。 GPTのトランスアーキテクチャ。 Jack Qiao 氏は、拡散がテクスチャ生成に優れているものの全体的な構成に欠けているのに対し、トランスフォーマーは高レベルのレイアウト決定に優れているという、これらのモデルの補完的な強みを強調しています。この組み合わせでは、拡散モデルが詳細を埋めながらパッチを編成するトランスフォーマーの機能を活用します。

Sora の実装では、画像は一時的な永続性に対応するために 3 次元のパッチに再分割されます。これは、パッチが一連のイメージの要素を表す言語モデルのトークン化プロセスを反映しています。さらに、計算効率を合理化するために次元削減ステップが適用されます。

ビデオの忠実度を高めるために、Sora は次のような再キャプション技術を採用しています。 DALL・E3ここで、 GPT ビデオを生成する前に、ユーザー プロンプトを追加の詳細で書き換えます。これは、自動プロンプト改良の一種として機能し、ユーザーの入力への忠実な遵守を保証します。

ソラは今どれくらい元気ですか？

OpenAI Sora の現在のイテレーションにはいくつかの制限があることを認めています。特に、ソラは物理学を本質的に理解していないため、現実世界の物理原理に一貫して準拠していない可能性があります。

一例として、モデルは因果関係を把握できず、潜在的な不一致が生じます。同様に、オブジェクトの空間的位置に不自然なずれが生じる場合があります。

信頼性に関して言えば、ソラの状況は依然として不透明です。それでも OpenAI は高品質を示す例を提示しましたが、選択的な展示がどの程度行われたかは不明です。テキストから画像へのアプリケーションでは、複数の画像を生成し、最適な画像を選択するのが一般的です。によって生成されたイメージの正確な数 OpenAI 発表記事でビデオを紹介するチームは非公開です。この透明性の欠如により、特に 1 つの使用可能な結果を​​得るために数百または数千のビデオを生成する必要がある場合、採用が妨げられる可能性があります。この不確実性を軽減するには、ツールがより広範に利用可能になるまで待つ必要があります。

ソラはどこで役に立つでしょうか？

Sora の機能は、ゼロからのビデオ作成、既存のフッテージの延長、ビデオ内の欠落したフレームのシームレスな埋め込みまで拡張されます。

テキストから画像への生成 AI ツールが技術的な編集スキルなしで画像作成に革命をもたらしたのと同様に、Sora は画像編集の専門知識を必要とせずにビデオ制作を簡素化することを目指しています。主なアプリケーション シナリオをいくつか示します。

• Sora を使用すると、TikTok、Instagram リール、YouTube ショートなどのソーシャル メディア プラットフォームに合わせた短編ビデオを作成できます。従来の方法では撮影が困難または非現実的なコンテンツの作成に特に優れています。
• 従来、広告、プロモーション ビデオ、製品デモンストレーションの制作などの費用のかかる作業は、費用対効果の高いソリューションを提供する Sora のようなテキストからビデオへの AI ツールを使用することで大幅に簡素化できます。
• AI で生成されたビデオは、最終製品に組み込まれていない場合でも、コンセプトを迅速に説明するための貴重なツールとして機能します。映画製作者は撮影前にシーンのモックアップに AI を利用でき、デザイナーは製造前に製品を視覚化できます。たとえば、玩具会社はソラを採用して新しい海賊船のおもちゃの AI モックアップを作成し、量産前に実現可能性を評価できます。
• 合成データは、プライバシーや実現可能性に関する懸念により実際のデータを使用できない状況では非常に貴重であることがわかります。通常は財務記録や個人を特定できる情報などの数値データに適用されますが、より広範なアクセシビリティのために、同様の特性を持つ合成データを生成することもできます。ビデオの分野では、合成データはコンピューター ビジョン システムのトレーニングに役立ちます。

ソラに関する課題

• 新しく導入された製品である Sora のリスクはまだ完全には解明されていません。ただし、それらはテキストから画像へのモデルで発生するものと同様であると予想されます。
• 十分な保護策がなければ、Sora は、暴力、生々しい画像、性的に露骨な素材、特定のグループの軽蔑的な表現、違法行為の促進または美化を含むビデオなど、不快または不適切なコンテンツを作成する可能性があります。何が不適切なコンテンツに該当するかは、ユーザー (子供と大人など) やビデオが作成された状況 (花火の危険性についての教育ビデオで、うっかり生々しいシーンが表示されているなど) によって大きく異なります。
• によって共有されたサンプルビデオ OpenAI ソラの注目すべき能力の 1 つは、現実を超えた想像力豊かなシナリオを作成するスキルであることを示しています。それにもかかわらず、この機能はまた、「深い偽物」ビデオでは、意図的でない（誤報）か意図的（偽情報）かにかかわらず、本物の個人や状況が変更されて虚偽が伝えられます。このようなコンテンツは重大な結果を招く可能性があります。
• 生成 AI モデルによって生成された結果は、本質的に、そのモデルがトレーニングされたデータにリンクされています。したがって、トレーニング データに埋め込まれた文化的な偏見や固定観念が生成されたビデオに現れる可能性があり、同様の問題が永続する可能性があります。

何をしますか OpenAI 上記のリスクを防ぐためにチームは何をすべきですか?

現在、Sora は「」のみにアクセスできます。赤チーム研究者 - モデルの潜在的な問題を特定し、軽減する任務を負った専門家。これらの研究者は、概要を説明したリスクを示す可能性のあるコンテンツを生成しようと努めています。 OpenAI ソラの公開前に懸念事項に対処し、修正する必要があります。

ソラは私を無職にしてくれるでしょうか？

テキストの手がかりに基づいて一流のビデオ コンテンツを制作する Sora の能力は、クリエイティブな雇用環境内で注目すべき変革を引き起こす可能性を秘めています。ビデオ撮影、特殊効果、アニメーションにおける従来の立場は、このような進歩に直面して陳腐化する危険があります。一部のクリエイターは、AI 機能の監督、倫理的な AI の利用、AI 機能を活用するためのクリエイティブな方向性の指導に関する専門知識を磨くことによって方向転換するかもしれませんが、すべての人にとってこの移行が実現可能かどうかは依然として不透明です。

一方、Sora は、ビデオ制作に関連する技術的および経済的障害を軽減することで、より幅広い個人が高品質のコンテンツを作成できるようにする可能性を秘めています。この民主化は、多様で独創的なコンテンツ配信の急増を促進する可能性があります。確立されたメディアエンティティやコンテンツクリエーターが革新的なアプローチを調整して導入する必要があるかもしれないが、この進化は前向きな結果をもたらす可能性がある。

いずれにせよ、大量リリース後、Sora は間違いなくビデオおよび関連業界、さらには個人のコンテンツ制作に変化をもたらすでしょう。

長期的な影響 OpenAI ソーラ

Sora がプロフェッショナルなワークフローに定着すると、その永続的な影響が明らかになります。

高価値のユースケースの実現: 業界全体にわたる Sora の統合により、次のような変革的なアプリケーションが約束されます。

• コンテンツ制作の加速: Sora は、VR、AR、ゲーム、従来のエンターテイメント分野にわたるメディア作成を合理化し、制作サイクルを短縮し、アイデア出しを促進します。
• パーソナライズされたエクスペリエンス: 個人の好みに合わせて Sora が厳選したカスタマイズされたコンテンツが登場し、多様な学習スタイルや好みに合わせてエンターテインメントと教育のパラダイムを再構築します。
• リアルタイムの適応: Sora によって実現される動的なビデオ編集により、視聴者の好みやフィードバックにリアルタイムで応じてコンテンツをオンザフライで変更できます。
• デジタル境界の曖昧化: Sora と VR および AR の相乗効果により、物理的領域とデジタル領域の間の境界線が曖昧になり、斬新な没入型体験とインタラクティブなストーリーテリングの機会が提供されます。

本質的に、Sora の出現は、AI 主導のコンテンツ作成における変革の時代の到来を告げるものであり、業界、物語、ユーザー エクスペリエンスを根本的に再構築します。