Фізичний інтелект представляє архітектуру MEM, щоб забезпечити роботам пам'ять, необхідну для виконання реальних завдань
Коротко
Дослідники розробили багатомасштабну втілену пам'ять – систему, яка забезпечує роботами короткочасну та довготривалу пам'ять, щоб вони могли відстежувати прогрес і виконувати складні завдання, а не просто виконувати окремі дії.
Роками мрія про справді корисного домашнього робота була оманливо близькою. Роботи вже можуть виконувати такі команди, як «помити сковороду», «скласти білизну» або «зробити бутерброд». У лабораторних умовах ці системи демонструють вражаючу спритність і точність. Однак, незважаючи на швидкий прогрес у моделях робототехніки, чогось фундаментального бракувало: пам'яті.
Робот, який може виконати одне завдання, не те саме, що робот, який може завершити роботу загалом. Прибирання всієї кухні, приготування їжі чи приготування інгредієнтів для рецепту вимагає більше, ніж окремих навичок. Це вимагає безперервності — здатності пам’ятати, що вже було зроблено, що ще має статися і де що знаходиться. Без цієї наративної нитки навіть найздібніший робот стає напрочуд некомпетентним.
Цю проблему дослідники з Physical Intelligence зараз намагаються вирішити за допомогою нової архітектури під назвою Multi-Scale Embodied Memory (MEM) — системи, розробленої для того, щоб забезпечити роботам як короткочасну, так і довгочасну пам'ять, щоб вони могли виконувати завдання, які розгортаються протягом хвилин, а не секунд.
Результати натякають на щось важливе: майбутнє робототехніки може менше залежати від кращих механічних рук і більше від кращої когнітивної архітектури.
Сучасні роботизовані моделі вже володіють вражаючим набором моторних навичок. Вони можуть тримати крихкі предмети, маніпулювати інструментами та орієнтуватися в захаращеному середовищі. Але якщо попросити робота прибрати повну кухню — протерти стільниці, прибрати продукти, помити посуд та організувати начиння — обмеження швидко стають очевидними.
Проблема не в самих навичках. Проблема в тому, як ці навички координуються. Складні завдання вимагають постійної усвідомленості. Робот повинен пам'ятати, які шафки він уже відкривав, куди він поставив кришку від каструлі або чи помил він уже посуд. Він також повинен відстежувати об'єкти, які зникають з поля зору, і підтримувати ментальну карту середовища під час виконання нових дій.
Людське пізнання виконує це без зусиль. Машини донедавна цього не робили. Зберігання кожного спостереження, яке бачить робот, протягом хвилин або годин є обчислювально нездійсненним. Але відкидання цієї інформації призводить до хаотичної поведінки — повторюваних помилок, забутих кроків або дій, що суперечать попереднім рішенням. У дослідженнях робототехніки цю проблему іноді описують як «причинно-наслідкову плутанину», коли системи неправильно інтерпретують минулі події та підкріплюють неправильну поведінку.
Результат: роботи, які виглядають вражаюче в коротких демонстраціях, але мають труднощі з виконанням реальних завдань.
Система пам'яті для фізичного інтелекту
Архітектура MEM вирішує цю проблему, впроваджуючи багатошарову структуру пам'яті. Замість того, щоб зберігати все однаково, система розділяє пам'ять на дві взаємодоповнюючі форми:
Короткочасна зорова пам'ять фіксує нещодавні спостереження за допомогою ефективної архітектури відеокодування. Це дозволяє роботу розуміти рух, відстежувати об'єкти в кадрах і запам'ятовувати події, що відбулися секунди тому, що є вирішальним для точних дій, таких як перевертання смаженого бутерброда з сиром або миття посуду.
Тим часом довготривала концептуальна пам'ять зберігає прогрес у виконанні завдання природною мовою. Замість того, щоб запам'ятовувати необроблені візуальні даніdefiЗрештою, робот пише короткі текстові «нотатки», що описують, що сталося, — твердження на кшталт «Я поставив каструлю в раковину» або «Я дістав молоко з холодильника».
Ці підсумки стають частиною процесу міркування робота. Фактично, машина будує власний наратив завдання. Потім механізм міркування системи вирішує дві речі одночасно: яку дію виконати далі та яку інформацію варто запам'ятати. Таке поєднання дозволяє моделі відстежувати завдання тривалістю до п'ятнадцяти хвилин — набагато довше, ніж у більшості попередніх демонстрацій роботів.
Одна з найцікавіших можливостей, що забезпечується MEM, — це адаптація до контексту. Роботи роблять помилки. Це неминуче. Але більшість роботизованих систем повторюють ці помилки нескінченно, оскільки вони не пам'ятають про невдачі.
Різниця стає очевидною в простих експериментах. В одному тесті робот намагається підняти плоску паличку для їжі. Без пам'яті машина неодноразово намагається виконати той самий невдалий захоплення. З увімкненою пам'яттю робот запам'ятовує невдалу спробу та пробує інший підхід — зрештою досягаючи успіху.
Інший приклад стосується відкриття холодильника. Лише за візуальними даними робот не може одразу визначити, в якому напрямку відчиняються двері. Система без пам'яті просто повторює ту саму дію знову і знову. Робот з пам'яттю пробує рух в одному напрямку, запам'ятовує невдачу, а потім пробує рух у протилежному напрямку.
Ці невеликі коригування представляють щось глибоке: здатність навчатися в рамках самого завдання. Замість того, щоб повністю покладатися на навчальні дані, робот адаптується на льоту.
Дослідники оцінювали систему, що працює на основі пам'яті, для виконання дедалі складніших завдань. Спочатку було відносно просте завдання: приготування сендвіча з грильованим сиром. Це вимагало короткочасної пам'яті для керування часом під час виконання делікатних фізичних кроків, таких як перевертання хліба та викладання сендвіча на тарілки.
Далі було логістичне завдання: пошук інгредієнтів для рецепту. Робот мав запам'ятати, які продукти він уже зібрав, де вони знаходяться та чи були закриті шухляди та шафки. Нарешті, настав найскладніший сценарій: прибирання всієї кухні.
Це означало прибирання речей, миття посуду, протирання стільниць та відстеження того, які частини кімнати вже були прибрані.
Модель з доповненою пам'яттю значно перевершила версії без структурованої пам'яті, демонструючи більшу надійність та рівень виконання завдань.
Ця різниця ілюструє ключовий зсув у робототехніці. Замість оптимізації окремих дій, дослідники зараз створюють системи, здатні до стабільних робочих процесів.
Чому пам'ять — це наступний рубіж у робототехніці
Ширший сенс MEM полягає в тому, що робототехніка вступає в нову фазу. Протягом десятиліть ця галузь була зосереджена на сприйнятті та управлінні: допомозі машинам бачити світ і маніпулювати об'єктами. Зовсім недавно великі мультимодальні моделі значно покращили здатність роботів інтерпретувати інструкції та виконувати складні рухові дії.
Але в міру розвитку цих можливостей, вузьке місце змістилося. Наступним викликом є когнітивна безперервність — забезпечення можливості роботам працювати протягом тривалого часу, не втрачаючи з поля зору своїх цілей. Системи пам'яті, такі як MEM, забезпечують основу для цієї безперервності. Замість того, щоб реагувати миттєво, роботи можуть підтримувати внутрішній наратив про свої дії, рішення та середовище. Саме цей наратив дозволяє виникати складній поведінці.
Якщо цей підхід продовжуватиме розвиватися, наслідки вийдуть далеко за рамки прибирання кухонь. Роботам майбутнього, можливо, доведеться виконувати інструкції, які розгортаються протягом годин або навіть днів. Уявіть, що ви кажете домашньому помічнику:
«Я повертаюся додому о 18:00 — будь ласка, приготуй вечерю та прибери в будинку по середах».
Виконання такого запиту вимагатиме розбору довгих інструкцій, планування підзадач, запам'ятовування прогресу та адаптації, коли щось йде не так.
Зберігати необроблену відеоісторію кожної дії протягом такого тривалого часу було б неможливо. Натомість роботи, ймовірно, покладатимуться на ієрархічні системи пам'яті, де досвід стискається у все більш абстрактні представлення.
MEM — це ранній крок до такої архітектури. Це говорить про те, що ключем до більш потужних роботів можуть бути не потужніші двигуни чи чіткіші датчики, а краща пам'ять — і здатність міркувати про це. Якщо роботи нарешті зможуть запам'ятати, що вони роблять, вони також, можливо, нарешті зможуть завершити роботу.
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Аліса, відданий журналіст на MPost, спеціалізується на криптовалюті, штучному інтелекті, інвестиціях та широкій сфері Web3. З гострим поглядом на нові тенденції та технології, вона надає всебічне висвітлення, щоб інформувати та залучати читачів до постійно змінюваного ландшафту цифрових фінансів.
інші статті
Аліса, відданий журналіст на MPost, спеціалізується на криптовалюті, штучному інтелекті, інвестиціях та широкій сфері Web3. З гострим поглядом на нові тенденції та технології, вона надає всебічне висвітлення, щоб інформувати та залучати читачів до постійно змінюваного ландшафту цифрових фінансів.
