8 dingen die u moet weten over grote taalmodellen
In het kort
Grote taalmodellen (LLM's) worden gebruikt om de nuances van natuurlijke taal te onderzoeken, het vermogen van machines om tekst te begrijpen en te genereren te verbeteren, en taken zoals stemherkenning en automatische vertaling te automatiseren.
Er is geen gemakkelijke oplossing voor het beheer van LLM's, maar ze zijn net zo capabel als mensen.
Met een toename van de ontwikkeling van natuurlijke taalverwerking en het gebruik ervan in het bedrijfsleven, is er een groeiende belangstelling voor grote taalmodellen. Deze modellen worden gebruikt om de nuances van natuurlijke taal te onderzoeken, het vermogen van machines om tekst te begrijpen en te genereren te verbeteren en taken zoals spraakherkenning en machinevertaling te automatiseren. Hier zijn acht essentiële dingen die u moet weten over grote taalmodellen (LLM).
- LLM's zijn meer "capabel" naarmate de kosten blijven stijgen
- Een korte blik op hoe GPT modellen passen zich aan naarmate de opleidingskosten stijgen
- LLM's leren bordspellen te spelen door representaties van de buitenwereld te gebruiken
- Er is geen gemakkelijke oplossing voor het beheer van LLM
- Experts hebben moeite om uit te leggen hoe de LLM werkt
- LLM's zijn net zo capabel als mensen
- LLM's moeten meer zijn dan alleen "manusje-van-alles"
- Modellen zijn 'slimmer' dan mensen op basis van eerste indrukken denken
LLM's zijn meer "capabel" naarmate de kosten blijven stijgen
LLM's worden voorspelbaar "capabeler" met stijgende kosten, zelfs zonder coole innovaties. Het belangrijkste hier is voorspelbaarheid, die werd getoond in het artikel over GPT-4: vijf tot zeven kleine modellen werden aangeleerd met een budget van 0.1% van het laatste, en op basis daarvan werd een voorspelling gedaan voor een enorm model. Voor een algemene beoordeling van verbijstering en statistieken op een substeekproef van één specifieke taak, was een dergelijke voorspelling zeer nauwkeurig. Deze voorspelbaarheid is belangrijk voor bedrijven en organisaties die voor hun activiteiten afhankelijk zijn van LLM's, omdat ze dienovereenkomstig kunnen budgetteren en toekomstige uitgaven kunnen plannen. Het is echter belangrijk op te merken dat hoewel stijgende kosten kunnen leiden tot verbeterde mogelijkheden, het tempo van verbetering uiteindelijk kan stagneren, waardoor het nodig is om in nieuwe innovaties te investeren om vooruitgang te blijven boeken.
Een korte blik op hoe GPT modellen passen zich aan naarmate de opleidingskosten stijgen
Specifieke belangrijke vaardigheden komen echter vaak onvoorspelbaar naar voren als een bijproduct van toename opleidingskosten (langere training, meer gegevens, groter model) — het is bijna onmogelijk te voorspellen wanneer modellen bepaalde taken gaan uitvoeren. We gingen dieper in op het onderwerp in onze dit artikel over de geschiedenis van de ontwikkeling van GPT modellen. De afbeelding toont de verdeling van de toename in de kwaliteit van modellen over verschillende taken. Alleen de grote modellen kunnen verschillende taken leren uitvoeren. Deze grafiek benadrukt de aanzienlijke impact van het opschalen van de omvang van GPT modellen op hun prestaties bij verschillende taken. Het is echter belangrijk op te merken dat dit ten koste gaat van meer rekenkracht en milieu-impact.
LLM's leren bordspellen te spelen door representaties van de buitenwereld te gebruiken
LLM's leren en gebruiken vaak representaties van de buitenwereld. Er zijn hier veel voorbeelden, en hier is er een van: Modellen getraind om bordspellen te spelen op basis van beschrijvingen van individuele zetten, zonder ooit een afbeelding van het speelveld te zien, leer interne representaties van de toestand van het bord bij elke zet. Deze interne representaties kunnen vervolgens worden gebruikt toekomst voorspellen bewegingen en uitkomsten, waardoor het model het spel op een hoog niveau kan spelen. Dit vermogen om representaties te leren en te gebruiken is een sleutel aspect van machine learning en kunstmatige intelligentie.
Er is geen gemakkelijke oplossing voor het beheer van LLM
Er zijn geen betrouwbare methoden om LLM-gedrag te controleren. Hoewel er enige vooruitgang is geboekt bij het begrijpen en verminderen van verschillende problemen (waaronder ChatGPT en GPT-4 met behulp van feedback) bestaat er geen consensus over de vraag of we deze kunnen oplossen. Er bestaat toenemende bezorgdheid dat dit in de toekomst een enorm, potentieel catastrofaal probleem zal worden als er nog grotere systemen worden gecreëerd. Daarom onderzoeken onderzoekers nieuwe methoden om ervoor te zorgen dat AI-systemen aansluiten bij menselijke waarden en doelen, zoals waardeafstemming en beloningstechniek. Het blijft echter een uitdagende taak om de veiligheid en betrouwbaarheid van LLM's in complexe scenario's uit de echte wereld.
| Lees verder: OpenAI Stelt een team van meer dan 50 experts samen om te verbeteren GPT-4's Veiligheid |
Experts hebben moeite om uit te leggen hoe de LLM werkt
Experts kunnen de innerlijke werking van de LLM nog niet interpreteren. Geen enkele techniek zou ons in staat stellen om op een bevredigende manier aan te geven welke soorten kennis, redeneringen of doelen het model gebruikt wanneer het enig resultaat genereert. Dit gebrek aan interpreteerbaarheid geeft aanleiding tot bezorgdheid over de betrouwbaarheid en eerlijkheid van de beslissingen van de LLM, vooral bij toepassingen met een hoge inzet, zoals strafrecht of kredietscores. Het benadrukt ook de noodzaak van verder onderzoek naar de ontwikkeling van meer transparante en verantwoordingsplichtige AI-modellen.
LLM's zijn net zo capabel als mensen
Hoewel LLM's in de eerste plaats zijn opgeleid om menselijk gedrag imiteren bij het schrijven van tekst, hebben ze het potentieel om ons in veel taken te overtreffen. Dit is al te zien bij het schaken of Go. Dit komt door hun vermogen om enorme hoeveelheden gegevens te analyseren en op basis van die analyse beslissingen te nemen met een snelheid die mensen niet kunnen evenaren. LLM's missen echter nog steeds de creativiteit en intuïtie die mensen bezitten, waardoor ze voor veel taken minder geschikt zijn.
| Lees verder: OpenAI Stelt een team van meer dan 50 experts samen om te verbeteren GPT-4's Veiligheid |
LLM's moeten meer zijn dan alleen "manusje-van-alles"
LLM's mogen niet de waarden uitdrukken van hun makers of de waarden die zijn gecodeerd in een selectie van internet. Ze mogen geen stereotypen of complottheorieën herhalen of proberen iemand te beledigen. In plaats daarvan moeten LLM's worden ontworpen om onbevooroordeelde en feitelijke informatie aan hun gebruikers te verstrekken, terwijl culturele en maatschappelijke verschillen worden gerespecteerd. Bovendien moeten ze regelmatig worden getest en gecontroleerd om ervoor te zorgen dat ze aan deze normen blijven voldoen.
Modellen zijn 'slimmer' dan mensen op basis van eerste indrukken denken
Schattingen van het vermogen van een model op basis van eerste indrukken zijn vaak misleidend. Heel vaak moet je met de juiste prompt komen, een model voorstellen en misschien voorbeelden laten zien, en het zal veel beter gaan werken. Dat wil zeggen, het is "slimmer" dan het op het eerste gezicht lijkt. Daarom is het cruciaal om het model een eerlijke kans te geven en het de nodige middelen te geven om optimaal te presteren. Met de juiste aanpak kunnen zelfs ogenschijnlijk ontoereikende modellen ons verrassen met hun mogelijkheden.
Als we ons concentreren op een steekproef van 202 taken uit de BIG-Bench-dataset (deze werd speciaal moeilijk gemaakt om te testen taalmodellen van en naar), dan laten de modellen in de regel (gemiddeld) een toename in kwaliteit zien met toenemende schaal, maar individueel kunnen de metrieken in taken:
- geleidelijk verbeteren,
- drastisch verbeteren,
- blijft onveranderd,
- kleiner worden,
- tonen geen verband.
Dit alles leidt tot de onmogelijkheid om met vertrouwen de prestaties van een toekomstig systeem te extrapoleren. Vooral het groene gedeelte is interessant - dit is precies waar de kwaliteitsindicatoren zonder enige reden scherp omhoog schieten.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
