版权归原作者所有，如有侵权，请联系我们

用于点压缩的高效率分层熵模型

上传时间：2023-11-19 17:56

CCF计算机科普

深度学习

由中国计算机学会主办，提供优质的计算机科普内容。

视频简介：为了提升注意力模型的计算效率，我们提出了一种分层注意力结构。它的复杂度与上下文规模呈线性关系，同时仍然可以实现全局感受。此外，分组上下文结构，解决了自回归式模型引起的串行编码问题，而且几乎不会引起压缩性能的损失。实验证明该模型实现了最先进的压缩性能，同时相较于大规模自回归式熵模型而言显著减少了解码时间。

内容资源由项目单位提供

请科普中国APP发表评论或查看更多评论