GLIGEN: Neues eingefrorenes Text-zu-Bild-Erzeugungsmodell mit Begrenzungsrahmen
In Kürze
GLIGEN, oder Grounded-Language-to-Image Generation, ist eine neuartige Technik, die auf den Fähigkeiten aktueller vortrainierter Diffusionsmodelle aufbaut und diese erweitert.
Mit Bedingungseingaben für Bildunterschriften und Begrenzungsrahmen generiert das GLIGEN-Modell Open-World-Grounded-Text2img.
GLIGEN kann eine Vielzahl von Objekten an bestimmten Orten und in bestimmten Stilen generieren, indem es das Wissen aus einem vortrainierten text2img-Modell nutzt.
GLIGEN kann auch menschliche Schlüsselpunkte erden, während es Text-zu-Bilder generiert.
Groß angelegte Text-zu-Bild-Diffusionsmodelle haben einen langen Weg zurückgelegt. Die derzeitige Praxis besteht jedoch darin, sich ausschließlich auf die Texteingabe zu verlassen, was die Kontrollierbarkeit einschränken kann. GLIGEN, oder Grounded-Language-to-Image Generation, ist eine neuartige Technik, die auf den Fähigkeiten aktueller vortrainierter Text-zu-Bild-Diffusionsmodelle aufbaut und diese erweitert, indem sie ermöglicht, dass sie auf Erdungseingaben konditioniert werden.
Um das umfangreiche Konzeptwissen des vortrainierten Modells zu erhalten, frieren die Entwickler alle seine Gewichtungen ein und pumpen die Erdungsinformationen über einen kontrollierten Prozess in neue trainierbare Schichten. Mit Bedingungseingaben für Bildunterschriften und Begrenzungsrahmen generiert das GLIGEN-Modell geerdeten Open-World-Text-zu-Bild, und die Erdungsfähigkeit lässt sich effektiv auf neuartige räumliche Konfigurationen und Konzepte verallgemeinern.
Probieren Sie auch die Demo .
- GLIGEN basiert auf bestehenden vortrainierten Diffusionsmodelle, deren ursprüngliche Gewichte eingefroren wurden, um riesige Mengen an vortrainiertem Wissen zu bewahren.
- An jedem Transformatorblock wird eine neue trainierbare Gated Self-Attention-Schicht erstellt, um zusätzliche Erdungseingaben zu absorbieren.
- Jedes Erdungszeichen hat zwei Arten von Informationen: semantische Informationen über das geerdete Ding (codierter Text oder Bild) und räumliche Positionsinformationen (codierter Begrenzungsrahmen oder Schlüsselpunkte).
| In Verbindung stehender Artikel: VToonify: Ein Echtzeit-KI-Modell zur Erstellung künstlerischer Porträtvideos |
| In Verbindung stehender Artikel: Microsoft hat ein Verbreitungsmodell veröffentlicht, das einen 3D-Avatar aus einem einzelnen Foto einer Person erstellen kann |
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
