| 共 29 篇文章 |
|
神经网络算法 - 一文搞懂Transformer本文将从Transformer的本质、Transformer的原理、Transformer架构改进三个方面，带您一文搞懂Transformer。每个解码器层由三个子层连接结构组成：第一个子层是一个带掩码的多头自注意力子层，第二个子层是一个多头注意力子层（编码器到解码器），第三个子层是一个前馈全连接子层。Encoder-Decoder（编码器-... 阅1 转0 评0 公众公开 24-04-28 19:33 |
在Transformer架构中，有两大的组件,分别是编码器（Encoder）和解码器（Decoder）， 编码器主要是将输入序列映射到潜在语义空间（注意力向量，也叫上下文向量，但其实上下文向量是注意力机制内部对输入向量的叫法，本文中编码器输出向量都只叫作注意力向量，以示区分），而解码器则是将潜在语义空间（注意力向量）映射到输出序列。为了解决这个... 阅22 转0 评0 公众公开 24-04-09 11:00 |
分享李宏毅Self-Attention和Transformer课程PPT.像GPT等大语言模型都是基于Transformer架构，Transformer 的核心机制是Self-attention ，理解Transformer和Self-attention是理解大模型的关键前提。 阅13 转0 评0 公众公开 24-04-09 10:03 |
return self.decode(self.encode(src, src_mask), src_mask, tgt, tgt_mask) def encode(self, src, src_mask): # Pass input sequence i.e. src through encoder return self.encoder(self.src_embed(src), src_mask) def decode(self, memory, src_mask, tgt, tgt_mask): # Memory is the query and key from encoder return self.decoder(se... 阅80 转0 评0 公众公开 24-04-06 20:19 |
「简述」：在本文中，作者提出了ETSFormer，一种新的时间序列变压器架构，它利用指数平滑的原理来改进变压器的时间序列预测。「简述」 ：作者设计了一种用于长序列时间序列预测（LSTF）的高效基于Transformer的模型，名为Informer，具有三个显著特点：ProbSparse自注意力机制: Informer引入了ProbSparse自注意力机制，该机制在时间复杂度和内存... 阅79 转0 评0 公众公开 24-03-22 16:38 |
JavaRDD<String> text = sc.parallelize(Arrays.asList(''''''''hello'''''''', ''''''''hello'''''''', ''''''''word'''''''', &... 阅1 转0 评0 公众公开 24-03-22 15:04 |
Query Size（与 Key size 和 Value size 相等)：查询向量的长度，与键向量和值向量的长度相等，也是分别用来产生Query、Key 和 Value矩阵的三个线性层的权重大小（例子中使用的查询大小为3）最后一个阶段只是为了形象化--实际上 Q 矩阵仍然是一个单一矩阵，但可以把它看作是每个注意力头的逻辑上独立的 Q 矩阵。现在有了分属各头的 Q、K、V 3... 阅5 转0 评0 公众公开 24-03-22 15:04 |
因此，需要特别关注的是 Attention module 对每个词进行的操作，以及每个向量如何映射到原始输入词，而不需要担心诸如矩阵形状、具体计算、多少个注意力头等其他细节，因为这些细节与每个词的去向没有直接关系。再啰嗦一遍：1-一个词的注意力得分可以理解为该词的''''''''编码值''''''... 阅4 转0 评0 公众公开 24-03-22 14:36 |
与编码器一样，解码器堆栈中的第一个解码器从嵌入层（词嵌入+位置编码）中接受输入；解码器与编码器的另一个不同在于，解码器有第二个注意层层，即编码器-解码器注意力层 （Encoder-Decoder-attention） 层。在 Encoder Self-attention 和 Encoder-Decoder-attention 中：掩码的作用是，在输入序列 padding对应的位置，将输出的注意力分数（Att... 阅21 转0 评0 公众公开 24-03-09 18:40 |
《Transformer压缩》综述基于变换器架构的大型模型在人工智能中扮演着越来越重要的角色，特别是在自然语言处理（NLP）和计算机视觉（CV）领域内。考虑到它们强大的扩展能力，大多数拥有超过数十亿参数的大型模型都是基于变换器架构的，这些模型被视为通用人工智能（AGI）的基础元素。关于变换器模型，它们的压缩策略展示出独特的特点。在本节中... 阅7 转0 评0 公众公开 24-03-09 18:35 |
