Интегрированная многомодальная система зондирования и обучения может дать роботам новые возможности
Манипуляционные навыки роботов значительно улучшились за последние несколько лет, отчасти из-за разработки все более сложных камер и тактильных датчиков. Исследователи из Колумбийского университета разработали новую систему, которая одновременно захватывает как визуальную, так и тактильную информацию.
Разработанный ими тактильный датчик, представленный в докладе, представленном на Конференции по обучению роботов ( CoRL ) 2024 в Мюнхене, может быть интегрирован в роботизированные захваты и руки, чтобы еще больше улучшить навыки манипуляции роботов с различной структурой тела.
Статья опубликована на сервере препринтов arXiv.
«Люди воспринимают окружающую среду с помощью множества сенсорных модальностей, среди которых осязание играет решающую роль в понимании физических взаимодействий», — рассказал Tech Xplore старший автор статьи Юньчжу Ли.
«Наша цель — оснастить роботов аналогичными возможностями, позволяя им воспринимать окружающую среду как зрением, так и осязанием для выполнения мелких роботизированных манипуляционных задач».
В рамках своего исследования ученые намеревались разработать многомодальную сенсорную систему, которую можно было бы использовать для сбора как визуальных данных , которые можно использовать для оценки положения объектов в поле зрения и их геометрии, так и тактильной информации, такой как местоположение контакта, сила и локальные закономерности взаимодействия.
Разработанная ими интегрированная многомодальная система обнаружения и обучения, получившая название 3D-ViTac, может предоставить роботам новые сенсорные возможности, что позволит им лучше справляться с задачами манипуляции в реальном мире.
«По сравнению с существующими современными решениями, особенно с оптическими датчиками, наш датчик тонкий, как лист бумаги, гибкий, масштабируемый и более надежный для долгосрочного использования и сбора больших объемов данных», — пояснил Ли.
«В сочетании с визуальным наблюдением мы разработали комплексную имитационную структуру, которая позволяет роботам выполнять различные манипуляционные задачи, демонстрируя значительные улучшения в безопасном взаимодействии с хрупкими предметами и долгосрочных задачах, связанных с манипуляциями руками».
Ли и его коллеги протестировали свой датчик и сквозную структуру имитационного обучения, которую они разработали в серии экспериментов с использованием реальной роботизированной системы.
В частности, они интегрировали два своих листообразных сенсорных устройства на каждую из плавниковых рук роботизированного захвата.
Затем команда протестировала производительность захвата на четырех сложных манипуляционных задачах, включая приготовление яйца на пару, размещение винограда на тарелке, захват шестигранного ключа и подачу сэндвича.
Результаты этих первоначальных тестов были весьма многообещающими, поскольку их дат.
Растягивающаяся электронная кожа может дать роботам чувствительность к прикосновениям на уровне человека Первая в мире эластичная электронная кожа могла бы обеспечить роботам и другим устройствам такую же мягкость и чувствительность к прикосновениям, к …
Hardware 20:05, мая 7, 2024 | android-robot.comСистема телеуправления всем телом позволяет роботам выполнять скоординированные задачи с ловкостью, присущей человеку Возможность удаленного управления роботами в режиме реального времени, также известная как телеуправление, может быть полезна для широкого спектра ре …
Hardware 10:12, мая 26, 2025 | android-robot.comРазработана система обучения ИИ на повреждённых данных — это защитит от претензий правообладателей Модели искусственного интеллекта, которые генерируют картинки по текстовому описанию, при обучении на оригинальных изображениях могут их «запом …
Hardware 19:35, мая 22, 2024 | 3dnews.ruИИ может стать прорывом, который позволит человекоподобным роботам перейти от научной фантастики к реальности Гуманоидные роботы долгое время были основным продуктом научной фантастики, но сейчас наблюдается реальный прогресс. Ряд новых моделей, созданных или …
Технологии, Наука 00:12, августа 23, 2024 | android-robot.comСтоловая имеет целью дать здоровую пищу по возможности за дешевую плату… — писала газета Русское Слово 26 сентября 1908 года "Московский листок", 26 сентября (13 сентября) 1902 года. Проглоченное кольцо. "11 сентября мещ. Васса Максимова, проходя по Тверской улице, встретил …
Общество, регионы 20:12, сентября 30, 2025 | pravda.ruНовые возможности Социальные координаторы филиала фонда «Защитники Отечества», члены правительства Кузбасса и сотрудники Военно-социального центра за прошедшую неделю …
Общество, регионы 15:12, апреля 15, 2025 | kuzbass85.ru
«Новые люди» предложили дать регионам право на запрет никабов Партия «Новые люди» намерена внести на рассмотрение в Госдуму законопроект, который позволит запрещать ношение никабов и другой религиозной одежды на …
Общество, регионы 06:10, мая 29, 2024 | kommersant.ruНовые возможности региона Проект комплексного развития территорий в Кузбассе на совещании с президентом России Владимиром Путиным отметили как один из лучших в России В преддв …
Общество, регионы 15:12, сентября 8, 2025 | kuzbass85.ru
Каррера: Джикия ещё многое может дать футболу Бывший наставник «Спартака» Массимо Каррера высказался о защитнике и капитане столичного клуба Георгии ДжикииЧитать дальше → …
Футбол 15:15, мая 31, 2024 | euro-football.ru
«Р7-Графика»: новые возможности совместной работы Разработчики «Р7-Офис» выпустили новую версию векторного редактора диаграмм и схем «Р7-Графика». С этим обновлением... …
Интернет, Игры 20:30, мая 17, 2024 | cnews.ru Экспорт и импорт: новые ограничения и возможности Россия продолжает политику продовольственного эмбарго. По-прежнему сохраняется запрет на ввоз мяса, молочной продукции, овощей из США, ЕС, Великобрит …
Закон и Право 15:12, февраля 26, 2025 | garant.ru «Новые люди» предложили дать регионам право самим вводить запреты на ношение никабов «Новые люди» вносят на рассмотрение в Госдуму законопроект, которым предлагается позволить властям регионов самостоятельно принимать запреты на ношен …
Бизнес, Промышленность, Энергетика 21:25, мая 28, 2024 | forbes.ru Никакого перемирия: что может дать РФ взятие Волчанска и Харькова Наступление российских войск на Харьков может вынудить киевский режим пойти на перемирие, утверждают источники газеты The New York Times. Политолог Ю …
Основные новости 21:50, мая 13, 2024 | 5-tv.ru
Правительство не может дать налоговые льготы для «Силы Сибири — 2» В ближайшие три года правительство не сможет предоставить налоговые льготы для строительства второго газопровода в Китай. Об этом заявил замминистра …
Экономика 20:12, сентября 18, 2025 | eadaily.com Появились новые возможности для студентов-юристов МарГУ Появились новые возможности для студентов-юристов МарГУ Марийский государственный университет и Саратовская государственная юридическая академия подп …
Основные новости 20:12, октября 21, 2025 | pg12.ru Туризм в России: новые возможности у отдыхающих и бизнеса Биометрия при заселении в гостиницы, штрафы для авиакомпаний за задержку рейсов, аттестация проводников, налоговые льготы для туроператоров, господде …
Закон и Право 23:25, мая 28, 2024 | garant.ru Заволжский мясокомбинат открывает новые карьерные возможности Одно из крупнейших мясоперерабатывающих предприятий региона, Заволжский мясокомбинат, презентовал обновлённые карьерные возможности для жителей столи …
Основные новости 20:12, февраля 2, 2025 | tvtver.ru Туризм в России: новые возможности для отдыхающих и бизнеса Биометрия при заселении в гостиницы, штрафы для авиакомпаний за задержку рейсов, аттестация проводников, налоговые льготы для туроператоров, господде …
Закон и Право 20:55, мая 23, 2024 | garant.ru IT-эксперт Курочкин разъяснил новые возможности Роскомнадзора Роскомнадзор получит право управления сетями связи для удаления запрещенной информации по требованию Генпрокуратуры — соответствующую поправку в зако …
Технологии, Наука 00:12, июля 31, 2024 | pravda.ru У Telegram появились новые возможности после обновления В результате последнего обновления пользователи Telegram смогут использовать фильтры для точного поиска сообщений как в личных беседах, так и в групп …
Основные новости 20:12, января 3, 2025 | gudok.ru У отечественных беспилотников Supercam появились новые возможности У российских беспилотников Supercam появились новые возможности, рассказал профильный телеграм-канал "Беспилот". Речь идёт о модели Supercam S350М, к …
Основные новости 17:10, мая 30, 2024 | ruposters.ru
Платформа «Умный Смоленск» получила новые возможности Теперь смоляне смогут получить полную информацию о поведении земляных работ в городе Сообщение Платформа «Умный Смоленск» получила новые во …
Основные новости 15:12, марта 23, 2025 | smolensk-i.ru
Поступай в вуз онлайн: новые возможности сервиса на «Госуслугах» Подать заявление сразу в пять вузов, получать уведомления от куратора в личном кабинете, записаться на дополнительные... …
Интернет 18:15, июня 11, 2024 | internet.cnews.ru
Bloomberg раскрыл новые возможности операционной системы iOS 18 По информации Марка Гурмана из Bloomberg, на конференции WWDC 2024, которая состоится через две недели, Apple представит iOS 18 с новыми функциями ис …
Технологии, Наука 22:25, мая 26, 2024 | astera.ru Визуальный опыт детей может стать ключом к улучшению обучения компьютерному зрению Согласно исследованию междисциплинарной группы из Пенсильванский штат. В первые два года жизни дети видят несколько узкий набор предметов и лиц, но с …
Software 16:40, июня 3, 2024 | android-robot.com Модель следования за автомобилем на основе обучения с подкреплением может сократить расход топлива Транспортный сектор по-прежнему остается одним из основных источников загрязнения воздуха и изменения климата на Земле, на него приходится около 59% …
Software 00:12, сентября 16, 2024 | android-robot.com Эксперт рассказал, к чему приведут новые возможности ChatGPT-5 В конце апреля компания OpenAI получила усовершенствованный процессор искусственного интеллекта Nvidia DGX H200. Он является самым мощным в мире чипо …
Общество, регионы 06:40, мая 12, 2024 | gazeta.ru Google разрабатывает новые возможности передачи данных для Android Вскоре пользователи Android могут наслаждаться более быстрой и удобной передачей данных между устройствами, благодаря улучшениям, над которыми работа …
Гаджеты 08:55, мая 7, 2024 | gagadget.com OpenAI дает ChatGPT новые возможности видеть и слышать OpenAI в понедельник выпустила более производительную и еще более человекоподобную версию технологии искусственного интеллекта, которая лежит в основ …
Software 14:25, мая 14, 2024 | android-robot.com LG представляет новые возможности умного дома ThinQ AI в Европе Компания LG Electronics (LG) представляет передовую ИИ-платформу для умной бытовой техники LG ThinQ AI на выставке IFA 2025 2, определив этой инновац …
Технологии, Наука 05:12, сентября 11, 2025 | digimedia.ru
