• 《工程索引》(EI)刊源期刊
  • 中文核心期刊(综合性理工农医类)
  • 中国科技论文统计源期刊
  • 中国科学引文数据库来源期刊

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

深度学习注意力机制研究进展

刘建伟 刘俊文 罗雄麟

刘建伟, 刘俊文, 罗雄麟. 深度学习注意力机制研究进展[J]. 工程科学学报. doi: 10.13374/j.issn2095-9389.2021.01.30.005
引用本文: 刘建伟, 刘俊文, 罗雄麟. 深度学习注意力机制研究进展[J]. 工程科学学报. doi: 10.13374/j.issn2095-9389.2021.01.30.005
The Research Progress of Attention Mechanism in Deep Learning[J]. Chinese Journal of Engineering. doi: 10.13374/j.issn2095-9389.2021.01.30.005
Citation: The Research Progress of Attention Mechanism in Deep Learning[J]. Chinese Journal of Engineering. doi: 10.13374/j.issn2095-9389.2021.01.30.005

深度学习注意力机制研究进展

doi: 10.13374/j.issn2095-9389.2021.01.30.005
详细信息
  • 中图分类号: TP181

The Research Progress of Attention Mechanism in Deep Learning

  • 摘要: 注意力机制(Attention Mechanism,AM)已经成为神经网络中的一个重要概念,并在不同的应用领域得到了充分的研究。本文对注意力机制的主流模型进行了全面系统的概述。注意力机制模拟人类视觉选择性的机制,其核心的目的是从冗杂的信息中选择出对当前任务目标关联性更大,更关键的信息。也就是高效率信息选择和关注机制,其最近几年被广泛应用在深度学习的研究里,在自然语言处理,语音识别,计算机视觉等各个领域都发挥着举足轻重的作用。本文首先简要介绍了注意力机制的起源,然后概述了多种注意力机制结构及其最新进展成果,最后总结了他们在多个应用领域里成果,同时归纳了注意力机制未来的发展方向以及会面临的挑战。

     

  • 加载中
计量
  • 文章访问数:  162
  • HTML全文浏览量:  55
  • PDF下载量:  60
  • 被引次数: 0
出版历程
  • 网络出版日期:  2021-03-23

目录

    /

    返回文章
    返回