谷歌推出TensorFlow语言AI模型的文本库

谷歌今天介绍了TensorFlow。 文本，用于用TensorFlow预处理语言模型的库.. 由GoogleBrain团队创建的开源机器学习框架已经下载了4100多万次。

传感器流量。 文本可以使用PIP安装，并具有利用令牌拆分和分析文本的能力，如单词、数字和标点符号。

在发射时，TensorFlow。 文本可以识别空格、Unicode脚本和预先确定的单词片段序列，如Google调用的词片后缀或前缀。 word部分通常用于像BERT这样的方法，BERT是一种语言模型的预训练技术，去年秋天谷歌开源。

该图书馆还配备了操作规范，n图和序列约束标签，根据一个媒体帖子宣布的消息。

传感器流量。 文本的标记器使用Ragged张量，这是一种用于识别文本的新张量。 在今年早些时候的TensorFlow Dev峰会上，谷歌工程师MarkOmernick首次详细介绍了对TensorFlow的Raged Tensors和Unicode支持。

这个消息是在TensorFlow2.0的测试版发布几天后发布的。 谷歌开源框架的最新版本于3月在TensorFlow Dev峰会上发布在alpha中。 张量流程2.0使用更少的API，更深层次的Keras集成，以及对Eager执行运行时的改进。

传感器流量。 文本是谷歌在过去几个月引入的最新专用图书馆，旨在帮助人们通过机器学习完成特定任务。 上个月发布了TensorFlow Graphics，旨在为图形和三维模型带来更多的深度学习。

也许最受欢迎的是嵌入式设备的TensorFlowLite，谷歌今年早些时候说，它现在已经在20多亿台设备上使用。 谷歌使用TensorFlowLite在GBoard上支持语音检测和Google Photos中的边缘检测。

今年3月，谷歌推出了TensorFlow隐私以及TensorFlow Federation，这是一种可以确保更好的用户隐私保护的设备上机器学习方法.. 该公司将隐私视为开发商优先考虑的一种方式。 TensorFlow.js和TensorFlowS wift是Java脚本和iOS开发人员框架的版本，今年春天也收到了升级。