Meta 发布 Megabyte AI 模型抗衡 Transformer 速度提高40%

2023-05-31 18:28:04 编辑：金淑眉来源：

导读 Meta 发布 Megabyte AI 模型抗衡 Transformer ，新研发的这款AI模型能够解决Transformer 目前所面临的问题，速度提升40%。Transform

Meta 发布 Megabyte AI 模型抗衡 Transformer ，新研发的这款AI模型能够解决Transformer 目前所面临的问题，速度提升40%。

Transformer属于当下超流行的一种AI型,尤其在自然语言处理等领域被广泛的应用。这款模型的序列数据处理方式是逐步进化的，无法并行化处理，所以训练速度比较慢。如果想要处理长序列则比较困难，在反向传播过程中，梯度很容易消失或者爆炸。处理语言的过程中，需要将每一步的操作历史完整保留下来，会消耗巨大的内存。