Stability AI'S Stable Diffusion 2 Ο αλγόριθμος είναι τελικά δημόσιος: νέο μοντέλο depth2img, αναβαθμιστής υπερ-ανάλυσης, χωρίς περιεχόμενο για ενηλίκους
Εν συντομία
Stable Diffusion Το μοντέλο 2.0 είναι πιο γρήγορο, ανοιχτού κώδικα, επεκτάσιμο, πιο στιβαρό από το προηγούμενο
Stable Diffusion είναι έτοιμο για GPU με νέες δυνατότητες για απόδοση σε πραγματικό χρόνο
Καθοδηγούμενη από το βάθος stable diffusion μοντέλο – Εικόνα σε εικόνα με νέες ιδέες για δημιουργικές εφαρμογές
Stability AI έχει κυκλοφόρησε μια νέα εφημερίδα στο blog της σχετικά με Stable Diffusion 2. Σε αυτό, Stability AI προτείνει έναν νέο αλγόριθμο που είναι πιο αποτελεσματικός και στιβαρός από τον προηγούμενο, ενώ συγκρίνεται με άλλες μεθόδους τελευταίας τεχνολογίας.
Το πρωτότυπο του CompVis Stable Diffusion Μοντέλο V1 επανάσταση τη φύση του ανοιχτού κώδικα Μοντέλα AI και παρήγαγε εκατοντάδες διαφορετικά μοντέλα και προόδους σε όλο τον κόσμο. Είδε μια από τις ταχύτερες αναρριχήσεις στα 10,000 αστέρια Github, συγκεντρώνοντας 33,000 σε λιγότερο από δύο μήνες, ταχύτερα από περισσότερα προγράμματα στο Github.
Το πρωτότυπο Stable Diffusion Η κυκλοφορία του V1 έγινε από τη δυναμική ομάδα του Robin Rombach (Stability AI) και Patrick Esser (Runway ML) από τον Όμιλο CompVis στο LMU Munich, με επικεφαλής τον καθηγητή Dr. Björn Ommer. Βασίστηκαν στην προηγούμενη δουλειά του εργαστηρίου με το Latent Μοντέλα Διάχυσης και έλαβε κριτική υποστήριξη από το LAION και το Eleuther AI.
Τι κάνει Stable Diffusion v1 διαφορετικό από Stable Diffusion v2;
Stable Diffusion Το 2.0 περιλαμβάνει μια σειρά από σημαντικές βελτιώσεις και δυνατότητες σε σχέση με την προηγούμενη έκδοση, οπότε ας τις ρίξουμε μια ματιά.
Η Stable Diffusion Η έκδοση 2.0 διαθέτει ισχυρά μοντέλα κειμένου σε εικόνα εκπαιδευμένα με έναν νέο νέο κωδικοποιητή κειμένου (OpenCLIP) που αναπτύχθηκε από τη LAION με τη βοήθεια της Stability AI, γεγονός που ενισχύει σημαντικά την ποιότητα του δημιουργημένες εικόνες σε σχέση με προηγούμενες εκδόσεις V1. Τα μοντέλα κειμένου σε εικόνα αυτής της έκδοσης μπορούν να παράγουν εικόνες με προεπιλεγμένες αναλύσεις 512×512 pixel και 768×768 pixel.
Αυτά τα μοντέλα εκπαιδεύονται χρησιμοποιώντας ένα αισθητικό υποσύνολο του συνόλου δεδομένων LAION-5B που δημιουργείται από Stability AIΗ ομάδα του DeepFloyd, η οποία στη συνέχεια φιλτράρεται για να αποκλείσει περιεχόμενο για ενηλίκους χρησιμοποιώντας το φίλτρο NSFW της LAION.
Οι αξιολογήσεις που χρησιμοποιούν 50 βήματα δείγματος DDIM, 50 κατευθυντήριες κλίμακες χωρίς ταξινομητή και 1.5, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0 και 8.0 δείχνουν σχετικές βελτιώσεις στα σημεία ελέγχου:
Stable Diffusion Το 2.0 ενσωματώνει τώρα ένα μοντέλο Upscaler Diffusion, το οποίο αυξάνει την ανάλυση της εικόνας κατά τέσσερα. Ένα παράδειγμα του μοντέλου μας upscaling μια εικόνα που δημιουργείται χαμηλής ποιότητας (128×128) σε μια εικόνα υψηλότερης ανάλυσης εμφανίζεται παρακάτω (512×512). Stable Diffusion Το 2.0, όταν συνδυάζεται με τα μοντέλα κειμένου σε εικόνα, μπορεί τώρα να δημιουργήσει εικόνες με αναλύσεις 2048×2048 ή υψηλότερες.
Η νέα καθοδήγηση βάθους stable diffusion μοντέλο, depth2img, επεκτείνει την προηγούμενη δυνατότητα εικόνας σε εικόνα από το V1 με εντελώς νέες δημιουργικές δυνατότητες. Το Depth2img καθορίζει το βάθος μιας εικόνας εισόδου (χρησιμοποιώντας ένα υπάρχον μοντέλο) και στη συνέχεια δημιουργεί νέα εικόνες με βάση τόσο το κείμενο όσο και τις πληροφορίες βάθους. Το Depth-to-Image μπορεί να προσφέρει μια πληθώρα νέων δημιουργικών εφαρμογών, προσφέροντας αλλαγές που φαίνονται σημαντικά διαφορετικές από την αρχική, διατηρώντας παράλληλα τη συνοχή και το βάθος της εικόνας.
Τι νέο υπάρχει στο Stable Diffusion 2?
- Το νέο stable diffusion μοντέλο προσφέρει ανάλυση 768×768.
- Το U-Net έχει τον ίδιο αριθμό παραμέτρων με την έκδοση 1.5, αλλά είναι εκπαιδευμένο από την αρχή και χρησιμοποιεί το OpenCLIP-ViT/H ως κωδικοποιητή κειμένου του. Ένα λεγόμενο μοντέλο v-prediction είναι το SD 2.0-v.
- Το προαναφερθέν μοντέλο προσαρμόστηκε από βάση SD 2.0, η οποία είναι επίσης διαθέσιμη και εκπαιδεύτηκε ως τυπικό μοντέλο πρόβλεψης θορύβου σε εικόνες 512×512.
- Προστέθηκε ένα μοντέλο διάχυσης καθοδηγούμενο από λανθάνον κείμενο με κλίμακα x4.
- Εκλεπτυσμένη SD 2.0 βάσης με καθοδήγηση βάθους stable diffusion μοντέλο. Το μοντέλο μπορεί να χρησιμοποιηθεί για τη διατήρηση της δομής img2img και τη σύνθεση υπό όρους σχήματος και εξαρτάται από εκτιμήσεις μονόφθαλμου βάθους που συνάγονται από το MiDaS.
- Ένα βελτιωμένο μοντέλο ζωγραφικής με καθοδήγηση κειμένου που βασίζεται στη βάση SD 2.0.
Οι προγραμματιστές εργάστηκαν σκληρά, όπως και η αρχική επανάληψη του Stable Diffusion, για να βελτιστοποιήσουν το μοντέλο ώστε να εκτελείται σε μία μόνο GPU—ήθελαν να το κάνουν προσβάσιμο σε όσο το δυνατόν περισσότερα άτομα από την αρχή. Έχουν ήδη δει τι συμβαίνει όταν εκατομμύρια άτομα παίρνουν στα χέρια τους αυτά τα μοντέλα και συνεργάζονται για να χτίσουν απολύτως αξιόλογα πράγματα. Αυτή είναι η δύναμη του ανοιχτού κώδικα: αξιοποιεί τις τεράστιες δυνατότητες εκατομμυρίων ταλαντούχων ανθρώπων που μπορεί να μην έχουν τους πόρους για να εκπαιδεύσουν ένα μοντέλο αιχμής, αλλά έχουν την ικανότητα να κάνουν απίστευτα πράγματα με ένα.
Αυτή η νέα ενημέρωση, σε συνδυασμό με ισχυρά νέα χαρακτηριστικά, όπως το depth2img και τις καλύτερες δυνατότητες αναβάθμισης της ανάλυσης, θα χρησιμεύσει ως βάση για μια πληθώρα νέων εφαρμογών και θα επιτρέψει μια έκρηξη νέων δημιουργικών δυνατοτήτων.
Διαβάστε περισσότερα για Stable Diffusion:
Αποποίηση ευθυνών
Σύμφωνα με το Οδηγίες του έργου Trust, σημειώστε ότι οι πληροφορίες που παρέχονται σε αυτήν τη σελίδα δεν προορίζονται και δεν πρέπει να ερμηνεύονται ως νομικές, φορολογικές, επενδυτικές, χρηματοοικονομικές ή οποιαδήποτε άλλη μορφή συμβουλής. Είναι σημαντικό να επενδύσετε μόνο ό,τι έχετε την πολυτέλεια να χάσετε και να αναζητήσετε ανεξάρτητες οικονομικές συμβουλές εάν έχετε οποιεσδήποτε αμφιβολίες. Για περισσότερες πληροφορίες, προτείνουμε να ανατρέξετε στους όρους και τις προϋποθέσεις, καθώς και στις σελίδες βοήθειας και υποστήριξης που παρέχονται από τον εκδότη ή τον διαφημιστή. MetaversePost δεσμεύεται για ακριβείς, αμερόληπτες αναφορές, αλλά οι συνθήκες της αγοράς υπόκεινται σε αλλαγές χωρίς προειδοποίηση.
Σχετικά με το Συγγραφέας
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
Περισσότερα άρθρα
Ο Damir είναι ο αρχηγός της ομάδας, ο διευθυντής προϊόντων και ο συντάκτης στο Metaverse Post, καλύπτοντας θέματα όπως AI/ML, AGI, LLMs, Metaverse και Web3-σχετικά πεδία. Τα άρθρα του προσελκύουν ένα τεράστιο κοινό άνω του ενός εκατομμυρίου χρηστών κάθε μήνα. Φαίνεται να είναι ειδικός με 10ετή εμπειρία στο SEO και το ψηφιακό μάρκετινγκ. Ο Damir έχει αναφερθεί στο Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto και άλλες εκδόσεις. Ταξιδεύει μεταξύ των ΗΑΕ, της Τουρκίας, της Ρωσίας και της ΚΑΚ ως ψηφιακός νομάδας. Ο Damir απέκτησε πτυχίο στη φυσική, το οποίο πιστεύει ότι του έχει δώσει τις δεξιότητες κριτικής σκέψης που απαιτούνται για να είναι επιτυχής στο συνεχώς μεταβαλλόμενο τοπίο του Διαδικτύου.
