2016-2022 All Rights Reserved.平安财经网.复制必究 联系QQ 备案号:
本站除标明“本站原创”外所有信息均转载自互联网 版权归原作者所有。
邮箱:toplearningteam#gmail.com (请将#换成@)
模仿学习是机器学习的一个分支,它训练机器模仿人类行为,同时完成特定任务。这些技术在机器人技术领域显示出巨大的希望,因为它们解决了强化学习的一些缺点,例如探索和奖励规范。
尽管取得了令人鼓舞的结果,但由于难以使用现有方法收集大量任务演示,模拟学习研究迄今仅限于适度规模的数据集。为了解决这些局限性,由斯坦福大学的Silvio Savarese博士和Fei-Fei Li博士监督的研究小组开发了RoboTurk,这是一个众包平台,使用广泛使用的智能手机设备进行高质量的6-DoF轨迹遥操作。
“我们希望为Robotics创建像ImageNet这样的东西,”进行这项研究的研究人员之一Ajay Mandlekar告诉TechXplore。“我们认为数据是机器人学习领域的一个关键限制。虽然有很多方法可以从数据中学习,例如数据驱动控制和强化学习,但大多数方法都会收集自己的数据。因此,数据通常是低质量的,例如导致机器人随意移动它的手臂。这种类型的探索可能是困难和不安全的,但我们相信人类可以提供帮助。
ImageNet是李博士创建的着名图像数据库,常用于计算机视觉和物体识别研究。斯坦福远景和学习实验室开发的众包平台旨在作为机器人和模仿学习研究的类似资源。
“与ImageNet不同,这样的数据收集系统需要是动态的,允许我们反复收集数据,通常是按需收集,甚至可能使用协作学习,”同时参与Roboturk开发的Yuke Zhu告诉TechXplore。“这是因为收集的数据取决于机器人在环境中采取的操作类型。”
ROBOTURK系统图。新用户连接到网站以加入系统,协调服务器为用户启动专用远程操作服务器,如(a)所示。然后,协调服务器在用户的网络浏览器和iPhone以及远程操作服务器之间建立直接通信信道以启动远程操作会话。用户通过移动他们的电话来控制模拟机器人,并在他们的网络浏览器中接收视频流作为反馈,如(b)所示。在每次成功演示之后,远程操作服务器将收集的数据推送到云存储系统。图片来源:Mandlekar等。
研究人员的最终目标是培训机器人掌握先进的操作技能,使他们能够在包装或装配等工业环境中完成任务。他们发现虽然模仿学习在这种情况下显示出巨大的潜力,但由于难以收集大量任务演示,现有数据集非常有限。
“在其他领域,如计算机视觉和自然语言处理,数据集的大规模监督通常是在众包的帮助下收集的,”Mandlekar说。“这为一系列广泛的问题实例提供了一种可扩展的机制,可用于不同的人员监督。然而,收集大量数据对机器人任务来说是一项挑战,因为它们需要实时交互和来自注释器的反馈,给远程设置了困难的限制。遥操作平台。“
斯坦福视觉和学习实验室的小组因此开发了RoboTurk,这是一个众包平台,允许研究人员通过使用可扩展的人工监督来扩大机器人可以自主执行的技能和任务。通过RoboTurk,远程工作人员可以使用他们的智能手机作为运动控制器登录网站并收集任务演示。
“RoboTurk受到基于云的模拟后端的支持,后端使用低延迟通信协议将视频流式传输到客户端的Web浏览器,”Mandlekar解释道。“无论客户的计算机资源如何,这都可以确保服务质量的统一,从而形成一个直观易用且入门门槛低的平台,这是众包任务的核心要求.RoburTurk支持多种机器人,任务和模拟器,并且可以很容易地扩展到支持他人。“
研究人员对三个不同持续时间的操作任务评估了他们的平台,范围从15到120秒不等。他们发现RoboTurk与特殊用途硬件(如虚拟现实控制器)共享统计相似性。他们还观察到,糟糕的网络状况并未显着影响用户在平台上成功执行任务的能力。使用RoboTurk,他们从远程工作人员那里收集了137.5小时的操作数据,在22小时的系统总使用中成功完成了2200次任务演示。
图片来源:Mandlekar等。
“我认为平台最有意义的部分是如何让人类和机器人进行互动,”领导该项目的博士后学生Animesh Garg告诉TechXplore。“机器人是未来的智能工具。我们不应该将它们视为人类的替代品,而应该将其视为扩展我们能力的一种方式。这使人类能够更高效地专注于更高层次的智力问题,同时也是如此。”计算机的出现使人们更容易使用数学作为解决问题的工具。“
RoboTurk通过稀疏奖励有效地实现了对多步骤操作任务的策略学习。此外,Mandlekar和他的同事们发现,在政策学习期间使用大量示范会带来显着的好处,从而带来更好的表现和更高的学习一致性。
未来,RoboTurk可以成为机器人领域的关键资源,帮助开发更先进,性能更好的机器人。研究人员现在正在将RoboTurk应用于真实机器人,同时还开发可以使用他们收集的数据来教授机器人低级技能的算法。
“机器人是一项非常令人兴奋的技术,可以使人们在人类活动的各个方面更有效率和独立,例如在厨房提供帮助,为老年人提供护理人员,以及更好地照顾病人,”Garg说。“令我们兴奋的事情之一就是制造业的民主化。这项技术可以让人们在不需要专用设备的情况下制作和销售定制产品,就像YouTube将内容创建和分发民主化一样,允许任何人创建和分享视频“。
2016-2022 All Rights Reserved.平安财经网.复制必究 联系QQ 备案号:
本站除标明“本站原创”外所有信息均转载自互联网 版权归原作者所有。
邮箱:toplearningteam#gmail.com (请将#换成@)