识别软件可以驱动多个科学领域的匹配

世界充斥着各种形象。目前的估计是，2016年中期有21亿智能手机用户，比2014年中期增加了5亿，他们正在制作大量的照片。在完美的世界中，没有人会在没有仔细注释图像旁边的地点，时间和内容的情况下存储照片。当然，我们大多数人都忙于抓取新图像来精心策划现有图像。

对于工作中的科学家来说，情况也是如此，他们在不总是注释所有细节的情况下收集图像。此外，绝大多数科学图像都是以更快的速度自动拍摄的，探测器，计算机和带宽达到了前所未有的采集水平。

在收集这些图像时对它们进行注释是不可行的 - 它们显示得太快，无法进行分析和编目。有时很难确切地知道图像是什么，直到与其他图像进行比较。

现在，帮助在线购物者搜索类似鞋子或灯具的相同技术也有望帮助科学家更好地存储，分析和比较实验图像。美国能源部劳伦斯伯克利国家实验室(伯克利实验室)的科学家与加州大学伯克利分校伯克利数据科学研究所的同事合作，正在构建自动机器学习工具，以便通过细胞实验产生的图像进行推断和识别。复合材料。

该团队由伯克利实验室计算研究部门的Daniela Ushizima领导，已经构建了一个基于Python的新工具，用于基于内容的图像检索(CBIR)，能够从大型数据集中搜索相关项目，并提供看不见的样本。该工具命名为“pyCBIR”，可用于编目和检索来自不同科学领域的图像，如生物学，材料研究和地质学。这个概念类似于在Facebook上标记朋友照片的过程 - 在多次明确地将照片标记为属于同一个人之后，Facebook“学会”将标签应用于同一个人的新照片帖子。

与几乎所有具有相同基本标志的面部图片不同，来自实验的科学图像通常呈现更广泛的属性，甚至专家可能难以解密。这使得自动识别过程更加复杂。为了开发出能够应用这么多不同特征的方法，Ushizima和她的团队必须自己进行一些实验。

为了将原始图像转换为一组签名，该团队使用称为卷积神经网络的一系列算法通过处理层运行图像。目标是创建几个数据驱动的模型，使用他们感兴趣的科学图像自动将模式(例如细胞)分配到不同的类。通过反复重复该过程，他们“训练”应用程序以提高其准确性。

“我们研究了形状的特征，包括图像颜色和纹理，然后如何将这些信息转化为数字，以便我们可以索引和编目不同的模式，”Ushizima说，他也是加州大学伯克利分校数据科学研究所的研究员。伯克利和伯克利实验室能源研究应用高级数学中心(CAMERA)的成员。Ushizima正在寻求其他组织的兴趣，并打算很快将pyCBIR公之于众。pyCBIR内部的核心思想是在8月12日至14日在旧金山举行的2016年PyData会议上的一次演讲中提出的，但在提交出版的新文章中概述了许多其他发展。

“挑战在于如何表现这些签名以反映图像中的距离，角度和边界，”Ushizima说。“我的想法是提出一种方法来理解与其他类似的东西，在处理非常抽象的数据时特别有用.pyCBIR允许您使用图像查询大型数据集，并自动确定与之前编目的图像的相关性它们的相似性。“

Ushizima利用她2015年DOE早期职业研究计划奖的一部分来启动算法项目，目标是制作一个可以跨越科学领域的工具，将价值汇总到能源部成像设施及其他部门收集的数据。

基础算法的首次使用之一是在细胞图像的搜索数据库中，包括与宫颈癌相关的那些。宫颈癌筛查程序目前依赖于两名或更多细胞学家在显微镜下观察图像，但如果能够以更高的速度准确地进行，那么医生可以更早地识别癌细胞，这将为治疗提供更多选择并改善生存的机会。

典型的子宫颈抹片检查包含50,000到300,000个细胞，在某些情况下，其中可能潜伏着一个异常细胞。不同的细胞形状，重叠的细胞，细胞质的不良对比以及血液，炎性细胞和粘液的存在可能使分析进一步复杂化并导致假阴性。

在中国北京举行的IEEE国际生物医学成像研讨会(ISBI 2014)上，Ushizima与巴西欧鲁普雷托联合大学(UFOP)教授Andrea Bianchi和Claudia Carneiro合作开发的方法被评为最快，在软件工具之间的竞争中最准确的是从重叠的宫颈细胞图像中提取单个细胞质和细胞核的边界。

与科学家直接合作

该团队汇集了一系列科学领域，包括Advanced Light Source材料科学家Alexander Hexemer和Dula Parkinson，科学无国界访问计算机科学教授Flavio Araujo和来自巴西塞阿拉联邦大学的Romuere Silva，以及来自巴西Ceara联邦大学的宫颈细胞研究人员。英格兰曼彻斯特大学和巴西欧鲁普雷图联邦大学。

席尔瓦表示，该团队已经在下一版pyCBIR中工作，目标是缩短检索图像和改进图形界面的时间。“通过这种方式，我们希望这个工具对科学家来说更有用，”他说。

她的一个合作伙伴是在伯克利实验室的DOE科学办公室国家用户设施Advanced Light Source工作的材料科学家。一个ALS实验涉及将复合陶瓷材料置于增加的压力下直至裂缝开始形成。部分实验是在材料中嵌入纤维以帮助抵抗开裂。这项工作是与加州大学伯克利分校教授Robert Ritchie教授合作完成的，他已经研究了材料失效30多年。

帕金森说：“通常情况下，科学家会依靠博士后手动检查图像，寻找纤维的位置并逐一识别它们。” “我们希望使用pyCBIR来利用投入的手工劳动并根据人工策划数据创建模型。并且，下一步，pyCBIR还可以通过自动建议光纤位置来简化进行实验所需的工作量。我们经常施加压力在材料上直到它破裂，这需要全天候观察。但是如果我们知道它会在何时何地破裂，我们可以将光束线精确地聚焦在该区域上并获得更高分辨率的图像，这将为我们提供更多信息“。

社区建设方面

未来可能会带来一个“Facebook”的科学图像，并通过识别他们共同知道的材料和特征来帮助研究人员联系。例如，共享特定显微镜或跨多个光束线工作的科学家可能能够合并他们正在收集的图像中的结构信息，而不共享其数据本身，并且可以检测和识别共同特征。

“我们的原型工具解决了图像搜索中的一些问题，我们将通过帮助识别依赖于研究特定图片作为调查一部分的科学家的模式来推进，”Ushizima说。“合作对于开发这些工具至关重要，我们认为这些工具将使更大的社区受益。”