Meta AI utvecklar en algoritm som gör det möjligt för robotar att lära sig uppgifter från YouTube-videor
I korthet
Forskare har utvecklat en visuell affordance-modell med hjälp av internetvideor av mänskligt beteende för att träna robotar att utföra komplexa uppgifter.
Detta tillvägagångssätt överbryggar gapet mellan statiska datamängder och verkliga robotapplikationer.
Forskarna använder storskaliga mänskliga videodatauppsättningar som Ego4D och Epic Kitchens för att extrahera avfordances och integrera datorseendetekniker med robotmanipulation.
Konceptet Vision-Robotics Bridge (VRB) visar potentialen i detta tillvägagångssätt, vilket gör att robotar kan lära sig av mänskliga videor och skaffa de färdigheter som krävs för komplexa uppgifter.
Meta AI presenterade en ny algoritm som gör det möjligt för robotar att lära sig och replikera mänskliga handlingar genom att titta på YouTube-videor. I en färsk tidning med titeln "Affordances from Human Videos som en mångsidig representation för robotik”, undersöker författarna hur videor av mänskliga interaktioner kan utnyttjas för att träna robotar för att utföra komplexa uppgifter.
Denna forskning syftar till att överbrygga klyftan mellan statiska datamängder och verkliga robotapplikationer. Medan tidigare modeller har visat framgång på statiska datauppsättningar, har det varit en utmaning att tillämpa dessa modeller direkt på robotar. Forskarna föreslår att träning av en visuell affordance-modell med hjälp av internetvideor av mänskligt beteende kan vara en lösning. Denna modell uppskattar var och hur en människa sannolikt kommer att interagera i en scen, vilket ger värdefull information för robotar.
Begreppet "affordances" är centralt för detta tillvägagångssätt. Affordances hänvisar till de potentiella handlingar eller interaktioner som ett objekt eller en miljö erbjuder. Genom att förstå möjligheter genom mänskliga videor får roboten en mångsidig representation som gör att den kan utföra olika komplexa uppgifter. Forskarna integrerar sin affordance-modell med fyra olika robotinlärningsparadigm: offline-imitationsinlärning, utforskning, målbetingat lärande och handlingsparameterisering för förstärkning lärande.
| Rekommenderas: Topp 100+ ord som kan upptäckas av AI-detektorer 2023 |
För att extrahera affordances använder forskarna storskaliga mänskliga videodatauppsättningar som Ego4D och Episka kök. De använder hand-objekt-interaktionsdetektorer från hyllan för att identifiera kontaktområdet och spåra handledens bana efter kontakt. Men en viktig utmaning uppstår när människan fortfarande är närvarande i scenen, vilket orsakar en distributionsförskjutning. För att ta itu med detta använder forskarna tillgänglig kamerainformation för att projicera kontaktpunkterna och post-kontaktbanan till en mänsklig-agnostisk ram, som fungerar som input till deras modell.
Tidigare kunde robotar härma handlingar, men deras förmåga var begränsad till att replikera specifika miljöer. Med den senaste algoritmen har forskare gjort betydande framsteg när det gäller att "generalisera" robotåtgärder. Robotar kan nu tillämpa sina förvärvade kunskaper i nya och obekanta miljöer. Denna prestation är i linje med visionen om att uppnå artificiell allmän intelligens (AGI) som förespråkas av AI-forskare Jan LeCun.
Meta AI är engagerad i att avancera området för datorseende och planerar att dela med sig av sitt projekts kod och datauppsättning. Detta kommer att göra det möjligt för andra forskare och utvecklare att ytterligare utforska och bygga vidare på denna teknik. Med ökad tillgång till koden och dataset, utvecklingen av självlärande robotar som kan tillägna sig nya färdigheter från YouTube-videor kommer att fortsätta utvecklas.
Genom att utnyttja den stora mängden instruktionsvideor online kan robotar bli mer mångsidiga och anpassningsbara i olika miljöer.
Läs mer om AI:
Ansvarsfriskrivning
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
