Facebook ontwikkelt een nieuwe methode om de prestaties van AI-transformatoren te verdubbelen
In het kort
Facebook heeft een nieuwe methode ontwikkeld om de prestaties van AI-transformatoren te verdubbelen op basis van de transformatorarchitectuur.
De nieuwe methode vindt de meest vergelijkbare patches in de hiaten tussen het verwerken van verschillende blokken en combineert deze om de computationele complexiteit te verminderen.
Facebook heeft een ontwikkeld Nieuwe methode voor het verdubbelen van de prestaties van AI-transformatoren. De methode is gebaseerd op de transformatorarchitectuur en is speciaal ontworpen voor lange tekst zoals boeken, artikelen en blogs. Het doel van de nieuwe AI-transformator is het verbeteren van de prestaties van op transformatoren gebaseerde modellen op lange tekst door ze efficiënter en effectiever te maken bij het verwerken van lange reeksen. De resultaten van de AI-transformator zijn veelbelovend, en deze nieuwe methode heeft een kans om de prestaties van op transformator gebaseerde modellen voor een verscheidenheid aan taken te helpen verbeteren.
Deze nieuwe methode zal naar verwachting een aanzienlijke impact hebben op natuurlijke taalverwerkingstaken, zoals taalvertaling, samenvatting en vraag-antwoordsystemen. Het zal naar verwachting ook leiden tot de ontwikkeling van meer geavanceerde AI-modellen die langere en complexere teksten aankunnen.
| Lees verder: 10+ beste AI-foto-editors 2023: online en gratis |
Om het beeld te verwerken, knippen moderne transformatoren het in stukken (meestal vierkanten: zie de gif hieronder) en werken vervolgens op representaties van deze deeltjes, die elk worden weergegeven door een "token". Zoals we weten, werken transformatoren langzamer naarmate er meer van deze token-stukken zijn (dit geldt voor zowel teksten als afbeeldingen), en de meest voorkomende transformator heeft een kwadratische relatie. Dat wil zeggen, hoe meer tokens worden toegevoegd, hoe langzamer de verwerking wordt. Om dit probleem aan te pakken, hebben onderzoekers verschillende technieken voorgesteld om het aantal tokens dat nodig is voor beeldverwerking te verminderen, zoals hiërarchische en adaptieve pooling. Deze methoden hebben tot doel de kwaliteit van de uitvoer te behouden en tegelijkertijd de rekenkosten te minimaliseren.
De nieuwe methode vindt de meest vergelijkbare patches in de hiaten tussen het verwerken van verschillende blokken en combineert deze om de computationele complexiteit te verminderen. Het aandeel samengevoegde tokens is een hyperparameter; hoe hoger het is, hoe lager de kwaliteit maar ook hoe hoger de acceleratie. Experimenten tonen aan dat het mogelijk is om ongeveer 40% van de tokens samen te voegen met een kwaliteitsverlies van 0.1-0.4% en dubbele versnelling te krijgen (en dus minder geheugen te verbruiken). Deze nieuwe methode is een veelbelovende oplossing voor het verminderen van de computationele complexiteit van beeldverwerking en zou een snellere en efficiëntere verwerking mogelijk kunnen maken zonder de kwaliteit van de uiteindelijke uitvoer in gevaar te brengen.
Dergelijke technische benaderingen gebaseerd op vindingrijkheid en begrip van hoe iets werkt, zien er erg aantrekkelijk uit. Ook beloven de ontwikkelaars van Meta om meer naar StableDiffusion te brengen om de zaken daar ook te versnellen. Het is geweldig dat, omdat transformatoren overal zijn, dergelijke trucs snel kunnen worden geïmplementeerd in een breed scala aan modellen. Dit toont het potentieel van technische oplossingen om een brede impact te hebben in verschillende industrieën. Het zal interessant zijn om te zien hoe deze vorderingen zich ontwikkelen transformator modellen zal in de loop van de tijd blijven evolueren en verbeteren.
- Meta-AI en Paperswithcode hebben het eerste 120B-model Galactica uitgebracht, getraind op wetenschappelijke teksten, waardoor nauwkeurigere en snellere voorspellingen mogelijk zijn. Het doel van Galactica is om onderzoekers te helpen het belangrijke van het irrelevante te scheiden.
Lees meer gerelateerd nieuws:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
