基于RNN的分层模型 用于预测图像的场景图

沿着发达的河岸，物理障碍可以帮助遏制洪水和对抗侵蚀。在干旱地区，检查水坝有助于在降雨后保留土壤并恢复受损的景观。在建筑项目中，金属板可以为挖掘，斜坡上的挡土墙或永久性基础提供支撑。所有这些应用都可以通过使用板桩，从扁平材料折叠并垂直驱动到地面以形成墙壁和稳定土壤来解决。适当的土壤稳定性是建筑，采矿和农业等行业可持续土地管理的关键; 和土地退化，特定地形造成的生态系统服务的丧失，是气候变化的驱动因素，估计每年的成本高达10万亿美元。

有了这个动力，哈佛大学Wyss生物启发工程研究所的机器人专家团队开发出一种机器人，可以自动将互锁的钢板桩打入土壤中。它建造的结构可以用作挡土墙或检查水坝以控制侵蚀。该研究将在即将举行的2019年IEEE机器人与自动化国际会议上发表。

传统的板桩驱动过程是非常耗能的。仅使用典型重型机械的一小部分重量来施加向下的力。另一方面，Wyss团队的“Romu”机器人能够利用自身的重量将板桩推入地下。这可以通过其四个车轮中的每一个连接到单独的线性致动器来实现，这也允许其适应不平坦的地形并确保桩垂直驱动。从一个抬起的位置，Romu抓住一个板桩，然后降低其底盘，在一个车载振动锤的帮助下将桩压入土壤。通过再次在较高位置抓住桩并重复该过程，机器人可以驱动比其自身的垂直运动范围高得多的桩。在打桩到足够的深度后，Romu推进并安装下一个桩，使其与前一个桩互锁，从而形成连续的壁。一旦它使用了它所携带的所有桩，它就可以返回供应缓存以进行补货。

这项研究源于Wyss研究所以前在建筑应用的团队或成群机器人方面的工作。在受土墩建造白蚁启发的工作中，核心教员Radhika Nagpal和高级研究科学家Justin Werfel设计了一个名为TERMES的自动机器人建筑工作人员，他们的成员共同合作，用专门的砖块建造复杂的结构。Werfel和研究人员Nathan Melenbrink的进一步研究探索了能够构建悬臂桁架结构的支撑式爬升机器人，解决桥梁等应用问题。然而，这些研究都没有解决将结构锚固到地面的挑战。Romu项目首先是探索自动化场地准备和基础安装的方法，以便建立早期系统; 随着它的发展，

“除了在实验室进行测试外，我们还证明了Romu在附近的海滩上运行，”Melenbrink说。“这种演示可以成为围绕建筑和土地管理自动化机会的更广泛对话的破冰者。我们有兴趣与相关领域的专家合作，他们可能会看到我们正在开发的那种自动化干预的潜在好处。 “

研究人员设想大量的Romu机器人作为集体或群体一起工作。他们在计算机模拟中证明，Romu机器人团队可以利用坡度陡峭等环境线索，以便在有效位置建造墙壁，有效利用有限的资源。“群体方法具有诸如通过并行性加速，对个体机器人丢失的鲁棒性以及大型团队的可扩展性等优势，”Werfel说。“通过实时响应他们工作时实际遇到的情况，机器人可以适应意外或变化的情况，而无需依赖大量的支持基础设施来实现站点测量，通信或本地化等功能。”

“Terramanus ferromurus(Romu)这个名称是对”机器生态学“概念的一种认可，其中自动系统可以引入自然环境作为新参与者，采取具体行动来补充和促进人类环境管理，“Melenbrink说。”未来，Terramanus“属”可以通过执行不同任务来保护或恢复生态系统服务的其他机器人来扩展。根据他们的发现，该小组现在有兴趣调查各种干预措施，包括用于支持干旱地区农业的地下水保持结构，以及用于飓风防备的响应性防洪堤建设。未来版本的机器人可以执行其他干预措施，如喷洒土壤粘合剂或安装淤泥围栏，因此，这些机器人的家族可以在各种情况下稳定土壤。

在许多环境保护或恢复的情景中，行动的机会受到人力劳动的可用性和重型机械的现场访问的限制。更小，更通用的建筑机器可以提供解决方案。“很明显，目前可用的工具和技术无法满足许多退化景观的需求，”Melenbrink说。“现在，在重型设备时代出现100年后，我们正在询问是否有更具弹性和响应性的方式来实现土地管理和恢复。”

“这种板桩驱动机器人具有在自然环境中表现出的能力，这标志着Wyss研究所的机器人和群体机器人能力可以在自然和人造环境中承受的路径，在这种环境中，传统机械，人力限制，或成本不足以防止经常造成灾难性的后果。这个机器人 也可以解决灾难性的情况，即停止危险的化学品泄漏或放射性放射性液体使人类很难或不可能进行干预，“Wyss研究所创始主任Donald Ingber医学博士说，他也是血管的犹大民间教授HMS的生物学和波士顿儿童医院的血管生物学项目，以及SEAS的生物工程教授。上海大学的研究人员最近开发了一种基于递归神经网络(RNN)的新方法来预测图像中的场景图。他们的方法包括由两个基于注意力的RNN组成的模型，以及实体本地化组件。

在过去十年左右的时间里，人工智能(AI)领域的研究人员开发了各种自动工具来管理，分析和检索数字图像。为了表示图像的内容，传统方法通常使用关键字或多视图特征。但是，依赖于功能或关键字通常会导致对图像的理解有限，无法提供有关图像的全面知识。

为了解决这些缺点，几年前，斯坦福大学，马克斯普朗克信息学研究所，雅虎实验室和Snapchat的一组研究人员提出使用“场景图”，这是一种用于描述图像中视觉概念的数据结构。场景图可以将图像中描绘的场景的描述存储为结构化图，其中节点表示对象信息，并且边提供两个节点之间的预测。

这些结构化表示可以帮助用户管理数字图像。但是，预测场景图通常具有挑战性，因为它需要有效的工具来识别对象，以及它们之间的属性和交互。

虽然有几种现有的预测场景图的方法，但其中大多数都有很大的局限性。在他们的研究中，上海大学的研究人员着手开发一种基于神经网络的模型，从视觉注意力的角度预测场景图。

“场景图为各种视觉任务提供了强大的中间知识结构，包括语义图像检索，图像标题和视觉问答，”研究人员在他们的论文中写道，该论文发表在Wiley Online Library上。“在本文中，预测图像场景图的任务被制定为两个相关的问题，即识别关系三元组，结构化，并从公认的关系三元组构建场景图。”

这个研究小组设计的方法有两个关键组成部分，一个旨在识别他们所谓的“关系三胞胎”，另一个旨在构建场景图。为了识别关系三元组，研究人员在分层组织中使用了由两个基于注意力的RNN组成的模型。

“第一个网络为每个关系三元组生成一个主题向量，而第二个网络根据主题向量预测该关系三元组中的每个单词，”研究人员在他们的论文中解释说。“这种方法成功地捕捉了图像的构图结构和上下文依赖关系以及描述其场景的关系三元组。”

一旦这个基于RNN的模型从图像中提取了相关信息，他们的方法的第二个组成部分就会使用这些数据构建场景图。对于此步骤，研究人员使用实体定位方法，该方法可以使用可用的注意信息来确定图形的结构。除了这两个组件之外，研究人员还使用一种算法来阐明他们的方法将生成的关系三元组信息转换为场景图的过程。

他们的方法使用流行的视觉基因组(VG)数据集和视觉关系数据集(VRD)进行评估。为了他们的研究目的，研究人员使用一组三联体对这些数据集中的图像进行注释，用位置信息标记每个主题和对象对。

“两个流行数据集的实验结果表明，从我们模型中的视觉注意导向角度看，层次复现方法在结果上比基线模型有明显改善，”研究人员写道。“在未来的工作中，我们计划用高级语义和更多样化的属性来丰富场景图。”