小时候,我经常陪妈妈去杂货店。当她拿出卡付款时,我总会听到同样的话:“去把杂货装袋。”这不是我最喜欢的任务。
现在想象一下这样一个世界,机器人可以精心包装你的杂货,而面包和鸡蛋等物品永远不会被较重的物品压垮。
我们可能越来越接近了:麻省理工学院CSAIL的研究人员创建了一种新的软机器人系统,它结合了先进的视觉技术、基于运动的本体感觉、软触觉传感器和一种新算法来处理沿传送带移动的连续不可预测的物体流。
“这里的挑战是立即决定是否打包某件物品,特别是因为我们对物品从传送带上下来时的情况没有任何假设,”麻省理工学院CSAIL博士生AnnanZhang说道,他是RoboGrocery新论文的主要作者之一。“我们的系统会测量每件物品,判断它是否易碎,然后直接打包或将其放在缓冲区以便稍后打包。
RoboGrocery的模拟市场之旅大获成功。在实验设置中,研究人员从一组之前从未见过的真实杂货中挑选出10件物品,并将它们以随机顺序放在传送带上。这个过程重复了三次,通过计算放在易碎物品上的重物数量来评估“坏包”。软机器人系统展示了其轻触性,其对物品的损坏动作比无传感器基线少9倍,后者仅依靠预先编程的抓取动作而没有感官反馈,比仅视觉方法少4.5倍,后者使用摄像头识别物品但缺乏触觉。
为了说明RoboGrocery的工作原理,我们来看一个例子。一串葡萄和一罐汤从传送带上下来。首先,RGB-D摄像头检测葡萄和汤,估计大小和位置。夹持器拿起葡萄,柔软的触觉传感器测量压力和变形,发出信号表明它们很脆弱。该算法分配一个高脆弱分数,并将它们放入缓冲区。接下来,夹持器开始抓汤。传感器测量到的变形很小,意味着“不脆弱”,因此算法分配一个低脆弱分数,并将其直接装入箱子中。
所有非易碎物品包装完毕后,RoboGrocery会从缓冲区取出葡萄,小心地将它们放在上面,以免被压坏。在整个过程中,机器人的所谓“大脑”——微处理器或“”——会处理所有传感数据并实时执行包装决策。
他们测试了各种杂货,以确保其坚固性和可靠性。其中包括面包、柑橘、葡萄、甘蓝、松饼、薯片和饼干等易碎物品。他们还测试了汤罐、研磨咖啡、口香糖、奶酪块、预制餐盒、冰淇淋容器和小苏打等非易碎物品。
“Lettuce通过我们的自动结账机器人为您提供帮助!”
传统上,机器人装箱任务主要针对刚性的矩形物体。然而,这些方法无法处理形状、尺寸和刚度各异的物体。
然而,RoboGrocery凭借其定制的RGB-D相机、闭环控制伺服电机和软触觉传感器,在这方面取得了领先。相机提供深度信息和彩色图像,以准确确定物体在传送带上移动时的形状和大小。电机提供精确的控制和反馈,使夹持器能够根据物体的特性调整抓握力。最后,集成在夹持器手指中的传感器测量物体的压力和变形,提供有关刚度和脆性的数据。
尽管取得了成功,但总有改进的空间。目前判断物品是否易碎的启发式方法有些粗糙,可以通过更先进的传感技术和更好的夹持器进行改进。“目前,我们的抓取方法非常基础,但增强这些技术可以带来显着的改进,”张说。“例如,确定最佳抓取方向以最大限度地减少失败尝试并有效处理以不利方向放置在传送带上的物品。例如,平放的麦片盒可能太大而无法从上方抓取,但直立时,它可能完全可以处理。”
展望未来
虽然该项目仍处于研究阶段,但其潜在应用范围可能不仅限于食品杂货包装。该团队设想将其用于各种在线包装场景,例如搬家包装或回收设施包装,在这些场景中,物品的顺序和属性都是未知的。
“这是迈向让机器人在现实环境中打包杂货和其他物品的重要第一步,”张说。“虽然我们还没有为商业部署做好准备,但我们的研究展示了在软机器人系统中集成多种传感模式的威力。”
“使用像我们项目中的机器人一样具有柔软精细抓握能力和高级推理能力的机器人进行食品杂货自动包装,有可能影响零售效率并开辟新的创新途径”,资深作者、CSAIL主任兼麻省理工学院电气工程与计算机科学(EECS)教授DanielaRus表示。
“软夹钳适合抓取各种形状的物体,如果与适当的传感和控制相结合,它们可以解决长期存在的机器人问题,例如将未知物体装入垃圾箱,”新加坡国立大学教务长机器人学讲座教授CeciliaLaschi补充道(她没有参与这项研究)。“这就是这篇论文所展示的,它将软机器人技术推向了具体的应用。”
哈佛大学电气工程教授罗伯特·伍德(RobertWood)表示:“作者们用一种整体的、仿生的方法解决了机器人技术中一个长期存在的问题——如何处理精细且形状不规则的物体。”他没有参与这篇论文。“他们结合使用视觉和触觉感知,这与人类完成类似任务的方式相似,而且重要的是,他们为未来的操控研究树立了基准。”