Stability AI's Stable Diffusion 2 Algoritme is eindelijk openbaar: nieuw depth2img-model, superresolutie-upscaler, geen inhoud voor volwassenen
In het kort
Stable Diffusion 2.0-model is sneller, open source, schaalbaar, robuuster dan het vorige
Stable Diffusion wordt GPU-ready gemaakt met nieuwe functies voor real-time weergave
Diepte geleid stable diffusion model – Beeld-naar-beeld met nieuwe ideeën voor creatieve toepassingen
Stability AI heeft uitgebracht een nieuw artikel op zijn blog over Stable Diffusion 2. Daarin, Stability AI stelt een nieuw algoritme voor dat efficiënter en robuuster is dan het vorige, terwijl het wordt vergeleken met andere geavanceerde methoden.
Origineel van CompVis Stable Diffusion V1-model revolutie de aard van open source AI-modellen en produceerde honderden verschillende modellen en vorderingen over de hele wereld. Het zag een van de snelste beklimmingen naar 10,000 Github-sterren, met 33,000 in minder dan twee maanden, sneller dan meer programma's op Github.
De oorspronkelijke Stable Diffusion De V1-release werd geleid door het dynamische team van Robin Rombach (Stability AI) en Patrick Esser (Runway ML) van de CompVis Group bij LMU München, onder leiding van Prof. Dr. Björn Ommer. Ze bouwden voort op het eerdere werk van het laboratorium met Latent Verspreidingsmodellen en kreeg kritische steun van LAION en Eleuther AI.
Wat maakt Stable Diffusion v1 anders dan Stable Diffusion v2?
Stable Diffusion 2.0 bevat een aantal belangrijke verbeteringen en functies ten opzichte van de vorige versie, dus laten we ze eens bekijken.
De Stable Diffusion 2.0-release bevat robuuste tekst-naar-afbeelding-modellen die zijn getraind met een frisse nieuwe tekst-encoder (OpenCLIP), ontwikkeld door LAION met hulp van Stability AI, wat de kwaliteit van de gegenereerde afbeeldingen ten opzichte van eerdere V1-releases. De tekst-naar-afbeelding-modellen van deze release kunnen afbeeldingen uitvoeren met standaardresoluties van 512×512 pixels en 768×768 pixels.
Deze modellen worden getraind met behulp van een esthetische subset van de LAION-5B-dataset gegenereerd door Stability AI's DeepFloyd-team, dat vervolgens wordt gefilterd om inhoud voor volwassenen uit te sluiten met behulp van LAION's NSFW-filter.
Evaluaties met behulp van 50 DDIM-voorbeeldstappen, 50 classificatievrije geleidingsschalen en 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 en 8.0 wijzen op relatieve verbeteringen van de ijkpunten:
Stable Diffusion 2.0 bevat nu een Upscaler Diffusion-model, dat de beeldresolutie met een factor vier verhoogt. Een voorbeeld van ons model upscaling Hieronder wordt een gegenereerde afbeelding van lage kwaliteit (128×128) weergegeven in een afbeelding met een hogere resolutie (512×512). Stable Diffusion 2.0, in combinatie met onze tekst-naar-beeld-modellen, kan nu afbeeldingen genereren met een resolutie van 2048×2048 of hoger.
De nieuwe dieptegeleide stable diffusion model, depth2img, breidt de eerdere beeld-naar-beeld-functie van V1 uit met geheel nieuwe creatieve mogelijkheden. Depth2img bepaalt de diepte van een invoerbeeld (met behulp van een bestaand model) en genereert vervolgens een nieuw afbeeldingen op basis van zowel de tekst als de diepte-informatie. Depth-to-Image kan een overvloed aan nieuwe creatieve toepassingen bieden, met veranderingen die aanzienlijk verschillen van het origineel, terwijl de samenhang en diepte van het beeld behouden blijven.
Wat is er nieuw binnen Stable Diffusion 2?
- De nieuwe stable diffusion model biedt een resolutie van 768 × 768.
- Het U-Net heeft hetzelfde aantal parameters als versie 1.5, maar het is helemaal opnieuw getraind en gebruikt OpenCLIP-ViT/H als tekstencoder. Een zogenaamd v-voorspellingsmodel is SD 2.0-v.
- Het bovengenoemde model is aangepast vanuit SD 2.0-base, dat ook beschikbaar is en is getraind als een typisch ruisvoorspellingsmodel op 512×512-beelden.
- Er is een latent tekstgestuurd diffusiemodel met x4-schaling toegevoegd.
- Verfijnde SD 2.0-basis met dieptegeleiding stable diffusion model. Het model kan worden gebruikt voor structuurbehoudende img2img en vormvoorwaardelijke synthese en is gebaseerd op monoculaire diepteschattingen afgeleid door MiDaS.
- Een verbeterd tekstgestuurd inpainting-model gebouwd op de basis van SD 2.0.
Ontwikkelaars hebben hard gewerkt, net als bij de eerste versie van Stable Diffusion, om het model te optimaliseren voor gebruik op één GPU, wilden ze het vanaf het begin voor zoveel mogelijk mensen toegankelijk maken. Ze hebben al gezien wat er gebeurt als miljoenen individuen deze modellen in handen krijgen en samenwerken om absoluut opmerkelijke dingen te bouwen. Dit is de kracht van open source: het benutten van het enorme potentieel van miljoenen getalenteerde mensen die misschien niet over de middelen beschikken om een geavanceerd model te trainen, maar wel het vermogen hebben om er ongelooflijke dingen mee te doen.
Deze nieuwe update, gecombineerd met krachtige nieuwe functies zoals depth2img en betere resolutie-opschalingsmogelijkheden, zal dienen als basis voor een overvloed aan nieuwe toepassingen en een explosie van nieuw creatief potentieel mogelijk maken.
Lees meer over Stable Diffusion:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
