微软与Azure Data Explorer合作进行实时分析

Azure Data Explorer KQL查询和可视化结果Fastlyis是一个边缘的云平台提供商，它说，处理大约10%的互联网请求。Azure Data Explorer(ADX——前身是project“Kusto”)是微软基于云的大数据分析平台。ADX仍处于公开预览阶段，但Fastly已与微软合作，基于ADX创建了一个面向客户的实时分析大流量点击流数据的解决方案。

另外:微软云服务将遭遇全球认证中断

我已经熟悉了Azure Data Explorer，但与Fastly的战略合作伙伴主管(前产品主管)Lee Chen的交谈帮助我理解了为什么Fastly- adx解决方案是创新的。这个背景也帮助我更好地理解ADX本身是关于什么的。这是非常有用的见解，因为坦率地说，Azure Data Explorer的名称——以及到目前为止的服务营销——可以让它听起来像一个通用的分析产品。

ADX不是一个通用的数据服务，尽管它的名字。它可以处理快速数据，但它本身不是一个流数据平台——Azure事件中心服务承担了这种工作负载，Azure HDInsight Kafka集群也是如此。如本文顶部的图所示，ADX还允许使用一种名为KQL (Kusto Query language)的类似sql的语言来查询和可视化其数据。但ADX也不是一个流分析或数据可视化平台——Azure流分析、Azure数据仓库和Power BI都提供这些工作负载。

相反，ADX将这些功能与时间序列分析功能结合在一起，对大量数据执行查询——响应时间类似于BI平台对相对较小的数据集的响应时间。微软声称ADX可以“在几秒钟内查询数十亿条记录”。微软自己也使用ADX来支持azure Monitor和azure时间序列洞察服务。

这些功能可以快速地收集所有在互联网边缘位置点击的数据，让客户likeTaboola几乎实时地分析他们的数据，或者超过之前7天(即将30天)的历史数据。这是一个不小的成就，因为Taboola每天生成220亿条edge交付日志记录——大约17tb的数据。除了这些数据量之外，Fastly还提供了从网络边缘直接到Azure Blob存储的所有实时日志数据，结合ADX的特性集，允许解决方案监视站点性能并在出现问题时进行故障排除。

微软在一篇博文中详细介绍了ADX/Fastly解决方案。Taboola也在自己的帖子中描述了这个解决方案。坦率地说，这两篇文章都是为了宣传。但是，除了营销之外，这个解决方案还有一些有趣的收获。首先，列存储和索引的组合(都是由ADX实现的)可以产生惊人的结果。其次，对真正的大数据进行时间序列分析实际上是很简单的。

但像ADX这样的专有解决方案可能是实现这一目标所必需的。虽然可以串一个定制的解决方案——使用喜欢的,说,Apache卡夫卡和Apache火花的火花流组件——这样的解决方案将涉及很多复杂和需要各种技能,加上积极管理规模的基础设施。但ADX可以按需供应，自动伸缩，而且就技能而言，它只需要学习服务的查询语言。它所提供的价值是巨大的。由于源数据可以存储在云存储中，所以仍然可以通过Hadoop和Spark等开源技术查询。

最后，如果您使用运行在Kubernetes集群中的开放源码解决方案来完成所有工作，那么您将拥有大量跨公共云和企业数据中心的可移植性。但是，对于纯粹的开源解决方案，投入市场/实现价值的时间和项目的成功可能更具挑战性。这明确了云数据分析的取舍。Taboola的信息技术副总裁Ariel Pisetzky说:“Azure数据浏览器，加上Fastly的实时日志记录，以更快的更新速度和直观的交互界面超越了我们之前的解决方案。另外，它非常简单，我们在一周内就开始运行，每天摄入和分析17tb的数据。”

不过，这种计算方法并不适用于所有人。您的团队将需要权衡易实现性与锁定关注点，并据此选择解决方案。不过，无论如何，我们都很高兴知道，云计算和更新的数据技术正在把像Fastly这样的解决方案放在触手可及的地方。