Utvecklingen av chatbots från T9-Era och GPT-1 till ChatGPT
Den senaste tiden har vi bombarderats nästan dagligen med nyhetsinlägg om de senaste rekorden som slagits av storskaliga neurala nätverk och varför i stort sett ingens jobb är säkert. Ändå är det väldigt få människor som är medvetna om hur neurala nätverk gillar ChatGPT faktiskt fungerar.
Så, slappna av. Beklaga inte över dina jobbutsikter ännu. I det här inlägget kommer vi att förklara allt som finns att veta om neurala nätverk på ett sätt som alla kan förstå.
En varning innan vi börjar: Det här stycket är ett samarbete. Hela den tekniska delen skrevs av en AI-specialist som är välkänd bland AI-publiken.
Eftersom ingen ännu har skrivit ett djuplodande stycke om hur ChatGPT verk som skulle förklara, i lekmannatermer, ins och outs i neurala nätverk, vi bestämde oss för att göra detta åt dig. Vi har försökt att hålla det här inlägget så enkelt som möjligt så att läsarna kan komma ut ur det här inlägget med en allmän förståelse för principerna för språkets neurala nätverk. Vi ska utforska hur språkmodeller arbeta där, hur neurala nätverk utvecklades för att ha sina nuvarande kapaciteter och varför ChatGPTs explosiva popularitet överraskade även dess skapare.
Låt oss börja med grunderna. Att förstå ChatGPT ur teknisk synvinkel måste vi först förstå vad det inte är. Det här är inte Marvel Comics Jarvis; det är inte en rationell varelse; det är inte en ande. Förbered dig på att bli chockad: ChatGPT är faktiskt din mobiltelefons T9 på steroider! Ja, det är det: Forskare hänvisar till båda dessa teknologier som "språkmodeller." Allt neurala nätverk gör är att gissa vilket ord som ska komma härnäst.
Den ursprungliga T9-tekniken påskyndade bara telefonuppringningen med tryckknappar genom att gissa den aktuella inmatningen snarare än nästa ord. Tekniken gick dock framåt och i början av 2010-talet kunde den ta hänsyn till sammanhanget och ordet innan, lägga till skiljetecken och erbjuda ett urval av ord som kunde gå vidare. Det är precis den liknelsen vi gör med en sådan "avancerad" version av T9 eller autokorrigering.
Som ett resultat, både T9 på en smartphone tangentbord och ChatGPT har tränats för att lösa en löjligt enkel uppgift: förutsäga nästa ord. Detta är känt som "språkmodellering", och det inträffar när ett beslut fattas om vad som ska skrivas härnäst baserat på befintlig text. Språkmodeller måste arbeta på sannolikheterna för förekomsten av specifika ord för att göra sådana förutsägelser. När allt kommer omkring skulle du bli irriterad om telefonens autofyll bara kastade dig helt slumpmässiga ord med samma sannolikhet.
För tydlighetens skull, låt oss föreställa oss att du får ett meddelande från en vän. Det står: "Vad har du för planer för kvällen?" Som svar börjar du skriva: "Jag ska...", och det är här T9 kommer in. Den kan komma med helt orimliga saker som "Jag ska till månen", ingen komplex språkmodell krävs. Bra modeller för automatisk komplettering av smarttelefoner föreslår mycket mer relevanta ord.
Så, hur vet T9 vilka ord som är mer benägna att följa den redan skrivna texten och vad som helt klart inte är vettigt? För att besvara denna fråga måste vi först undersöka de grundläggande driftsprinciperna för de enklaste neurala nätverk.
Hur AI-modeller förutsäger nästa ord
Låt oss börja med en enklare fråga: Hur förutsäger man det ömsesidiga beroendet mellan vissa saker och andra? Anta att vi vill lära en dator att förutsäga en persons vikt baserat på deras längd - hur ska vi gå till väga? Vi bör först identifiera intresseområdena och sedan samla in data som kan användas för att söka efter beroenden av intresse och sedan försöka "träna" någon matematisk modell för att leta efter mönster i denna data.
För att uttrycka det enkelt, T9 eller ChatGPT är bara skickligt utvalda ekvationer som försöker förutse ett ord (Y) baserat på uppsättningen av tidigare ord (X) som matats in i modellinmatningen. När du tränar a språkmodell på en datamängd är huvuduppgiften att välja koefficienter för dessa x som verkligen återspeglar någon form av beroende (som i vårt exempel med längd och vikt). Och genom stora modeller kommer vi att få en bättre förståelse för dem med ett stort antal parametrar. Inom området för artificiell intelligens, de kallas stora språkmodeller, eller LLMs för kort. Som vi kommer att se senare är en stor modell med många parametrar väsentlig för att generera bra text.
Förresten, om du undrar varför vi ständigt pratar om att "förutsäga ett nästa ord" medan ChatGPT svarar snabbt med hela textstycken, svaret är enkelt. Visst kan språkmodeller generera långa texter utan svårighet, men hela processen går ord för ord. Efter att varje nytt ord har genererats kör modellen helt enkelt om hela texten med det nya ordet för att generera nästa ord. Processen upprepas om och om igen tills du får hela svaret.
Varför fortsätter vi att försöka hitta de "rätta" orden för en given text?
Språkmodeller försöker förutsäga sannolikheterna för olika ord som kan förekomma i en given text. Varför är detta nödvändigt, och varför kan du inte bara fortsätta leta efter det "mest korrekta" ordet? Låt oss prova ett enkelt spel för att illustrera hur denna process fungerar.
Reglerna är följande: Jag föreslår att du fortsätter meningen: "Förenta staternas 44:e president (och den första afroamerikanen i denna position) är Barak...". Vilket ord ska gå härnäst? Hur stor är sannolikheten att det inträffar?
Om du med 100 % säkerhet förutspådde att nästa ord skulle vara "Obama", hade du fel! Och poängen här är inte att det finns en annan mytisk Barak; det är mycket mer trivialt. I officiella dokument används vanligtvis presidentens fullständiga namn. Detta betyder att det som följer efter Obamas förnamn skulle vara hans mellannamn, Hussein. Så i vår mening bör en korrekt utbildad språkmodell förutsäga att "Obama" kommer att vara nästa ord endast med en villkorad sannolikhet på 90% och allokera de återstående 10% om texten fortsätter med "Hussein" (varefter Obama kommer att följ med en sannolikhet nära 100 %).
Och nu kommer vi till en spännande aspekt av språkmodeller: De är inte immuna mot kreativa streck! I själva verket, när de genererar varje nästa ord, väljer sådana modeller det på ett "slumpmässigt" sätt, som om de kastar en tärning. Sannolikheten för att olika ord "faller ut" motsvarar mer eller mindre de sannolikheter som föreslås av ekvationerna som infogats i modellen. Dessa härrör från den enorma mängd olika texter som modellen matades med.
Det visar sig att en modell kan svara olika på samma förfrågningar, precis som en levande person. Forskare har i allmänhet försökt tvinga neuroner att alltid välja det "mest troliga" nästa ord, men även om detta verkar rationellt på ytan, presterar sådana modeller sämre i verkligheten. Det verkar som att en lagom dos av slumpmässighet är fördelaktig eftersom det ökar variabiliteten och kvaliteten på svaren.
Vårt språk har en unik struktur med distinkta uppsättningar av regler och undantag. Det finns rim och anledning till vilka ord som förekommer i en mening, de uppstår inte bara slumpmässigt. Alla lär sig omedvetet reglerna för det språk de använder under sina tidiga uppväxtår.
En anständig modell bör ta hänsyn till språkets breda spektrum av deskriptivitet. Modellens förmåga att ge önskat resultat beror på hur exakt den beräknar sannolikheterna för ord baserat på subtiliteterna i sammanhanget (föregående avsnitt av texten som förklarar omständigheten).
Sammanfattning: Enkla språkmodeller, som är en uppsättning ekvationer som tränats på en enorm mängd data för att förutsäga nästa ord baserat på den inmatade källtexten, har implementerats i "T9/Autofyll"-funktionen för smartphones sedan början av 2010-talet.
GPT-1: Spränger branschen
Låt oss gå bort från T9-modeller. Medan du förmodligen läser detta stycke till lära om ChatGPT, först måste vi diskutera början av GPT modellfamilj.
GPT står för "generativ förtränad transformator", medan neural nätverksarkitektur utvecklad av Googles ingenjörer 2017 är känd som Transformatorn. Transformatorn är en universell beräkningsmekanism som accepterar en uppsättning sekvenser (data) som indata och producerar samma uppsättning sekvenser men i en annan form som har ändrats av någon algoritm.
Betydelsen av Transformers skapelse kan ses i hur aggressivt den antogs och tillämpades inom alla områden av artificiell intelligens (AI): översättning, bild, ljud och videobehandling. Sektorn för artificiell intelligens (AI) hade en kraftfull omvälvning och gick från den så kallade "AI-stagnationen" till snabb utveckling och övervinna stagnation.
Transformatorns nyckelstyrka består av moduler som är lätta att skala. När de blev ombedd att bearbeta en stor mängd text på en gång, skulle de gamla språkmodellerna för förvandling sakta ner. Transformatorns neurala nätverk, å andra sidan, klarar denna uppgift mycket bättre.
Tidigare behövde indata bearbetas sekventiellt eller en i taget. Modellen skulle inte behålla data: Om den fungerade med en ensidig berättelse skulle den glömma texten efter att ha läst den. Samtidigt gör transformatorn att man kan se allt på en gång, producerande betydligt mer fantastiska resultat.
Detta är vad som möjliggjorde ett genombrott i behandlingen av texter av neurala nätverk. Som ett resultat glömmer modellen inte längre: den återanvänder tidigare skrivet material, förstår bättre sammanhang och, allra viktigast, kan skapa kopplingar mellan extremt stora datamängder genom att para ihop ord.
Sammanfattning: GPT-1, som debuterade 2018, visade att ett neuralt nätverk kunde producera texter med hjälp av Transformer-designen, vilket har förbättrat skalbarheten och effektiviteten avsevärt. Om det var möjligt att öka kvantiteten och komplexiteten hos språkmodeller skulle detta skapa en ansenlig reserv.
GPT-2: De stora språkmodellernas ålder
Språkmodeller behöver inte vara speciellt taggade i förväg och kan "matas" med vilken textdata som helst, vilket gör dem extremt flexibla. Om du tänker efter, verkar det rimligt att vi vill använda dess förmågor. Alla texter som någonsin skrivits fungerar som färdiga träningsdata. Eftersom det redan finns så många sekvenser av typen "mycket av några ord och fraser => nästa ord efter dem", är detta inte förvånande.
Låt oss nu också komma ihåg att Transformers-tekniken testade på GPT-1 visat sig vara ganska framgångsrik när det gäller skalning: Den är betydligt effektivare än sina föregångare för att hantera stora datamängder. Det visar sig att forskare från OpenAI kom till samma slutsats 2019: "Det är dags att skära ner på dyra språkmodeller!"
Smakämnen träningsdatauppsättning och modellen storlek, i synnerhet, valdes som två avgörande områden där GPT-2 behövde förbättras drastiskt.
Eftersom det inte fanns några stora, högkvalitativa offentliga textdatauppsättningar vid den tiden som var särskilt utformade för att träna språkmodeller, var varje team av AI-experter tvungen att manipulera data på egen hand. De OpenAI folk fattade sedan ett beslut att gå till Reddit, det mest populära engelskspråkiga forumet, och extrahera alla hyperlänkar från varje enskilt inlägg som hade mer än tre likes. Det fanns nästan 8 miljoner av dessa länkar och de nedladdade texterna vägde totalt 40 terabyte.
Vilket antal parametrar beskrev ekvationen den största GPT-2 modell 2019 har? Kanske hundra tusen eller några miljoner? Nåväl, låt oss gå ännu längre: formeln innehöll upp till 1.5 miljarder sådana parametrar. Det kommer att ta 6 terabyte att bara skriva så många siffror i en fil och spara den på din dator. Modellen behöver inte memorera denna text som helhet, så å ena sidan är detta mycket mindre än den totala mängden textdatamatris som tränade modellen på; det räcker med att den helt enkelt hittar vissa beroenden (mönster, regler) som kan isoleras från texter skrivna av människor.
Ju bättre modellen förutsäger sannolikhet och ju fler parametrar den innehåller, desto mer komplex är ekvationen kopplad in i modellen. Detta ger en trovärdig text. Dessutom GPT-2 modellen började prestera så bra att OpenAI forskare var till och med ovilliga att avslöja modellen i det fria av säkerhetsskäl.
Det är väldigt intressant att när en modell blir större så börjar den plötsligt få nya egenskaper (som förmågan att skriva sammanhållna, meningsfulla uppsatser istället för att bara diktera nästa ord i telefonen).
Förändringen från kvantitet till kvalitet sker vid denna tidpunkt. Dessutom sker det helt olinjärt. Till exempel har en trefaldig ökning av antalet parametrar från 115 till 350 miljoner ingen märkbar inverkan på modellens förmåga att lösa problem korrekt. En dubbel ökning till 700 miljoner ger dock ett kvalitativt språng, där det neurala nätverket "ser ljuset" och börjar förvåna alla med sin förmåga att utföra uppgifter.
Sammanfattning: 2019 introducerades GPT-2, som 10 gånger överträffade sin föregångare när det gäller storleken på modellen (antal parametrar) och volymen av träningstextdata. På grund av dessa kvantitativa framsteg förvärvade modellen oförutsägbart kvalitativt nya talanger, såsom förmågan att skriva långa uppsatser med en tydlig mening och lösa utmanande problem som kräver grunden för en världsbild.
GPT-3: Smart som fan
I allmänhet släpps 2020 av GPT-3, nästa generation i serien, har redan 116 gånger fler parametrar — upp till 175 miljarder och häpnadsväckande 700 terabyte.
Smakämnen GPT-3 träningsdatauppsättningen utökades också, om än inte lika drastiskt. Den ökade med nästan 10 gånger till 420 gigabyte och innehåller nu ett stort antal böcker, Wikipediaartiklar och andra texter från andra webbplatser. Det skulle ta en människa ungefär 50 år av nonstop läsning, vilket gör det till en omöjlig bedrift.
Du märker en spännande skillnad direkt: till skillnad från GPT-2, själva modellen är nu 700 GB större än hela textuppsättningen för sin träning (420 GB). Det visar sig på sätt och vis vara en paradox: i det här fallet, när "neurobrain" studerar rådata, genererar den information om olika ömsesidiga beroenden inom dem som är mer volymetriskt riklig än originaldata.
Som ett resultat av modellens generalisering kan den nu extrapolera ännu mer framgångsrikt än tidigare och är framgångsrik även i textgenereringsuppgifter som inträffade sällan eller inte alls under träning. Nu behöver du inte lära modellen hur man tacklar ett visst problem; det räcker med att beskriva dem och ge några exempel, och GPT-3 kommer att lära sig direkt.
Smakämnen "universell hjärna" i form av GPT-3 så småningom besegrade många tidigare specialiserade modeller. Till exempel, GPT-3 började översätta texter från franska eller tyska snabbare och mer exakt än några tidigare neurala nätverk som skapats speciellt för detta ändamål. Hur? Låt mig påminna dig om att vi diskuterar en språklig modell vars enda syfte var att försöka förutsäga följande ord i en given text.
Ännu mer häpnadsväckande, GPT-3 kunde lära sig själv... matematik! Grafen nedan illustrerar hur bra neurala nätverk presterar i uppgifter inklusive addition och subtraktion samt multiplikation av heltal upp till fem siffror med varierande antal parametrar. Som du kan se börjar neurala nätverk plötsligt "kunna" i matematik medan de går från modeller med 10 miljarder parametrar till modeller med 100 miljarder.
Det mest spännande med den ovannämnda grafen är hur, initialt, ingenting verkar förändras när storleken på modellen ökar (från vänster till höger), men plötsligt, p gånger! En kvalitativ förändring sker, och GPT-3 börjar "förstå" hur man löser ett visst problem. Ingen är säker på hur, vad eller varför det fungerar. Ändå verkar det fungera i en mängd andra svårigheter såväl som i matematik.
Det mest spännande med den ovannämnda grafen är att när modellens storlek ökar, först verkar ingenting förändras, och sedan, GPT-3 gör ett kvalitativt språng och börjar "förstå" hur man löser en viss fråga.
GIF-bilden nedan visar helt enkelt hur nya förmågor som ingen medvetet planerat "spirer" i modellen när antalet parametrar ökar:
Sammanfattning: När det gäller parametrar, 2020 GPT-3 var 100 gånger större än sin föregångare, medan träningstextdata var 10 gånger större. Återigen lärde sig modellen att översätta från andra språk, utföra aritmetik, utföra enkel programmering, resonera sekventiellt och mycket mer som ett resultat av kvantitetsexpansionen som plötsligt ökade kvaliteten.
GPT-3.5 (InstrueraGPT): Modell utbildad för att vara säker och giftfri
I själva verket garanterar inte expanderande språkmodeller att det kommer att reagera på förfrågningar som användarna vill ha det. Faktum är att när vi gör en förfrågan avser vi ofta ett antal outtalade termer som, i mänsklig kommunikation, antas vara sanna.
Ändå, för att vara ärlig, är språkmodellerna inte särskilt nära människors. Därför behöver de ofta tänka på koncept som verkar enkla för människor. Ett sådant förslag är frasen, "låt oss tänka steg för steg." Det skulle vara fantastiskt om modellerna förstod eller genererade mer specifika och relevanta instruktioner från förfrågan och följde dem mer exakt som om de förutsåg hur en person skulle ha betett sig.
Faktumet att GPT-3 är tränad att bara förutse nästa ord i en massiv samling av texter från Internet, många olika saker skrivs, bidrar till avsaknaden av sådana "standard" förmågor. Människor vill att artificiell intelligens ska tillhandahålla relevant information, samtidigt som svaren är säkra och giftfria.
När forskare tänkte på den här frågan blev det uppenbart att modellens egenskaper "noggrannhet och användbarhet" och "ofarlighet och icke-toxicitet" ibland verkade vara i konflikt med varandra. När allt kommer omkring kommer en modell som är inställd för maximal ofarlighet att reagera på varje uppmaning med "Tyvärr, jag är orolig för att mitt svar kan förolämpa någon på Internet." En exakt modell bör uppriktigt svara på begäran, "Okej, Siri, hur man skapar en bomb."
Forskarna var därför begränsade till att helt enkelt ge modellen mycket feedback. På sätt och vis är det precis så här barn lär sig moral: De experimenterar i barndomen, och samtidigt studerar de noggrant vuxnas reaktioner för att bedöma om de betedde sig korrekt.
InstrueraGPT, också känd som GPT-3.5, är i huvudsak GPT-3 som fick mycket feedback för att förbättra sina svar. Bokstavligen, ett antal individer samlades på ett ställe och utvärderade svar från neurala nätverk för att avgöra hur väl de matchade deras förväntningar i ljuset av förfrågan de gjorde.
Det visar sig att GPT-3 har redan haft all nödvändig kunskap: den kunde förstå många språk, återkalla historiska händelser, känna igen variationerna i författarstilar och så vidare, men den kunde bara lära sig att använda denna kunskap korrekt (ur vår synvinkel) med input från andra individer. GPT-3.5 kan ses som en "samhällsutbildad" modell.
Sammanfattning: Den primära funktionen av GPT-3.5, som infördes i början av 2022, var ytterligare omskolning baserad på input från individer. Det visar sig att den här modellen faktiskt inte har blivit större och klokare, utan snarare har den bemästrat förmågan att skräddarsy sina svar för att ge människor de vildaste skratt.
ChatGPT: A Massive Surge of Hype
Cirka 10 månader efter sin föregångare InstructGPT/GGPT-3.5, ChatGPT introducerades. Omedelbart orsakade det global hype.
Ur teknisk synvinkel verkar det inte finnas några betydande skillnader mellan ChatGPT och instrueraGPT. Modellen tränades med ytterligare dialogdata eftersom ett "AI-assistentjobb" kräver ett unikt dialogformat, till exempel möjligheten att ställa en klargörande fråga om användarens begäran är otydlig.
Så varför fanns det ingen hype kring GPT-3.5 i början av 2022 medan ChatGPT fastnat som en löpeld? Sam Altman, Verkställande direktör för OpenAI, erkände öppet att forskarna vi överraskade av ChatGPTomedelbar framgång. När allt kommer omkring hade en modell med förmågor jämförbara med den legat vilande på deras hemsida i mer än tio månader vid den tidpunkten, och ingen klarade av uppgiften.
Det är otroligt, men det verkar som att det nya användarvänliga gränssnittet är nyckeln till dess framgång. Samma instruktionGPT kunde endast nås via ett unikt API-gränssnitt, vilket begränsar människors tillgång till modellen. ChatGPT, å andra sidan, använder det välkända "dialogfönster"-gränssnittet för budbärare. Också sedan ChatGPT var tillgänglig för alla på en gång, skyndade sig en storm av individer att interagera med det neurala nätverket, screena dem och publicera dem på sociala medier, hajpar upp andra.
Förutom fantastisk teknik gjordes en annan sak precis OpenAI: marknadsföring. Även om du har den bästa modellen eller den mest intelligenta chatboten, om den inte har ett lättanvänt gränssnitt, kommer ingen att vara intresserad av det. I detta avseende ChatGPT fick ett genombrott genom att introducera tekniken för allmänheten med hjälp av den vanliga dialogrutan, där en hjälpsam robot "skriver ut" lösningen mitt framför våra ögon, ord för ord.
Inte överraskande, ChatGPT slog alla tidigare rekord för att attrahera nya användare, överträffade milstolpen med 1 miljon användare på bara fem dagar efter lanseringen och korsade 100 miljoner användare på bara två månader.
Naturligtvis, där det finns en rekordstor ökning av antalet användare, finns det enorma pengar. Kineserna tillkännagav skyndsamt den förestående frigivningen av sina egna chatbot, slog Microsoft snabbt ett avtal med OpenAI att investera tiotals miljarder dollar i dem, och Googles ingenjörer slog larm och började formulera planer för att skydda sin söktjänst från konkurrensen med det neurala nätverket.
Sammanfattning: När ChatGPT modellen introducerades i november 2022, det fanns inga anmärkningsvärda tekniska framsteg. Det hade dock ett bekvämt gränssnitt för användarengagemang och öppen åtkomst, vilket omedelbart utlöste en massiv våg av hype. Eftersom detta är den mest avgörande frågan i den moderna världen, började alla ta itu med språkmodeller direkt.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
