Nieuwsverslag Technologie
15 maart 2023

Facebook ontwikkelt een nieuwe methode om de prestaties van AI-transformatoren te verdubbelen

In het kort

Facebook heeft een nieuwe methode ontwikkeld om de prestaties van AI-transformatoren te verdubbelen op basis van de transformatorarchitectuur.

De nieuwe methode vindt de meest vergelijkbare patches in de hiaten tussen het verwerken van verschillende blokken en combineert deze om de computationele complexiteit te verminderen.

Facebook heeft een ontwikkeld Nieuwe methode voor het verdubbelen van de prestaties van AI-transformatoren. De methode is gebaseerd op de transformatorarchitectuur en is speciaal ontworpen voor lange tekst zoals boeken, artikelen en blogs. Het doel van de nieuwe AI-transformator is het verbeteren van de prestaties van op transformatoren gebaseerde modellen op lange tekst door ze efficiënter en effectiever te maken bij het verwerken van lange reeksen. De resultaten van de AI-transformator zijn veelbelovend, en deze nieuwe methode heeft een kans om de prestaties van op transformator gebaseerde modellen voor een verscheidenheid aan taken te helpen verbeteren.

Deze nieuwe methode zal naar verwachting een aanzienlijke impact hebben op natuurlijke taalverwerkingstaken, zoals taalvertaling, samenvatting en vraag-antwoordsystemen. Het zal naar verwachting ook leiden tot de ontwikkeling van meer geavanceerde AI-modellen die langere en complexere teksten aankunnen.

Facebook ontwikkelde een nieuwe methode om de prestaties van AI-transformatoren te verdubbelen
Lees verder: 10+ beste AI-foto-editors 2023: online en gratis

Om het beeld te verwerken, knippen moderne transformatoren het in stukken (meestal vierkanten: zie de gif hieronder) en werken vervolgens op representaties van deze deeltjes, die elk worden weergegeven door een "token". Zoals we weten, werken transformatoren langzamer naarmate er meer van deze token-stukken zijn (dit geldt voor zowel teksten als afbeeldingen), en de meest voorkomende transformator heeft een kwadratische relatie. Dat wil zeggen, hoe meer tokens worden toegevoegd, hoe langzamer de verwerking wordt. Om dit probleem aan te pakken, hebben onderzoekers verschillende technieken voorgesteld om het aantal tokens dat nodig is voor beeldverwerking te verminderen, zoals hiërarchische en adaptieve pooling. Deze methoden hebben tot doel de kwaliteit van de uitvoer te behouden en tegelijkertijd de rekenkosten te minimaliseren.

De nieuwe methode vindt de meest vergelijkbare patches in de hiaten tussen het verwerken van verschillende blokken en combineert deze om de computationele complexiteit te verminderen. Het aandeel samengevoegde tokens is een hyperparameter; hoe hoger het is, hoe lager de kwaliteit maar ook hoe hoger de acceleratie. Experimenten tonen aan dat het mogelijk is om ongeveer 40% van de tokens samen te voegen met een kwaliteitsverlies van 0.1-0.4% en dubbele versnelling te krijgen (en dus minder geheugen te verbruiken). Deze nieuwe methode is een veelbelovende oplossing voor het verminderen van de computationele complexiteit van beeldverwerking en zou een snellere en efficiëntere verwerking mogelijk kunnen maken zonder de kwaliteit van de uiteindelijke uitvoer in gevaar te brengen.

Wanneer we visualiseren welke patches we samenvoegen, kunnen we zien dat ze 1) dicht bij elkaar liggen en 2) hetzelfde object beschrijven (zie gebieden met dezelfde kleur op de GIF). Dat wil zeggen, er gaat geen belangrijke informatie verloren; het object blijft "in het gezichtsveld" van het model. Hoe later dit wordt toegepast in de transformator, hoe meer tokens worden samengevoegd (aangezien dit representaties van een hoger niveau zijn die zelf de inhoud van de afbeelding goed beschrijven).

Dergelijke technische benaderingen gebaseerd op vindingrijkheid en begrip van hoe iets werkt, zien er erg aantrekkelijk uit. Ook beloven de ontwikkelaars van Meta om meer naar StableDiffusion te brengen om de zaken daar ook te versnellen. Het is geweldig dat, omdat transformatoren overal zijn, dergelijke trucs snel kunnen worden geïmplementeerd in een breed scala aan modellen. Dit toont het potentieel van technische oplossingen om een ​​brede impact te hebben in verschillende industrieën. Het zal interessant zijn om te zien hoe deze vorderingen zich ontwikkelen transformator modellen zal in de loop van de tijd blijven evolueren en verbeteren.

  • Meta-AI en Paperswithcode hebben het eerste 120B-model Galactica uitgebracht, getraind op wetenschappelijke teksten, waardoor nauwkeurigere en snellere voorspellingen mogelijk zijn. Het doel van Galactica is om onderzoekers te helpen het belangrijke van het irrelevante te scheiden.

Lees meer gerelateerd nieuws:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
StakeStone gaat 1M STONE-tokens distribueren aan BNB Eco Wave-deelnemers als onderdeel van de BNB-keten Airdrop Alliantie-programma
Lifestyle Markten Nieuwsverslag
StakeStone gaat 1M STONE-tokens distribueren aan BNB Eco Wave-deelnemers als onderdeel van de BNB-keten Airdrop Alliantie-programma
17 mei 2024
De beste deals van deze week, grote investeringen in AI, IT, Web3, en Crypto (13-17.05)
Verteren Business Onderwijs Markten Software Technologie
De beste deals van deze week, grote investeringen in AI, IT, Web3, en Crypto (13-17.05)
17 mei 2024
Synthetix gaat in juni over op Synthetix V3 en introduceert een nieuwe basis en architectuur voor zijn protocol
Nieuwsverslag Technologie
Synthetix gaat in juni over op Synthetix V3 en introduceert een nieuwe basis en architectuur voor zijn protocol
17 mei 2024
KuCoin's hoofd Business Development licht strategieën toe voor projectspotlighting en gemeenschapsbetrokkenheid
Interview Business Markten Software Technologie
KuCoin's hoofd Business Development licht strategieën toe voor projectspotlighting en gemeenschapsbetrokkenheid
17 mei 2024