带你入门--你也可开发实现深度学习与大模型(下)

带你入门--你也可开发实现深度学习与大模型(下)_第1页
带你入门--你也可开发实现深度学习与大模型(下)_第2页
带你入门--你也可开发实现深度学习与大模型(下)_第3页
第10章从0开始自然语言处理的编码器带你入门你也可开发实现深度学习与大模型(下)目录第11章站在巨人肩膀上的预训练模型Bert第12章从1开始自然语言处理的解码器第13章我也可以成为马斯克——无痛的基于PyTorch2.0的强化学习实战第14章chatGPT前身-只具有解码器的GPT2模型第16章谁说会飞要先学会跑-开源大模型清华大学的chatGLM使用详解第17章清华大学chatGLM高级定制化应用实战第18章对训练成本上亿美元的清华大学chatGLM的高级微调实战第15章我看我也行-实战训练自己的chatGPT第10章从0开始自然语言处理的编码器10.1编码器的核心——注意力模型10.2编码器的实现10.3实战编码器:拼音汉字转化模型10.4本章小结10.1编码器的核心——注意力模型编码器的作用就是对输入的字符序列进行编码处理,从而获得特定的词向量结果。为了简便起见,作者直接使用transformer的编码器方案作为本章编码器的实现,这也是目前最为常用的编码器架构方案。编码器的结构如图10.2所示。10.1编码器的核心——注意力模型•10.1.1输入层—初始词向量层和位置编码器层初始词向量层和位置编码器层是数据输入的最初的层,作用是将输入的序列通过计算并组合成向量矩阵,如图10.3所示。10.1编码器的核心——注意力模型•10.1.2自注意力层(本书重点)自注意力层不仅仅是本章本节的重点,而且是本书的最重要的内容(然而实际上非常简单。)。注意力层是使用注意力机制构建的,能够脱离距离的限制建立相互关系的一种计算机制。注意力机制最早是在视觉图像领域提出来的,来自于2014年“谷歌大脑”团队的论文《RecurrentModelsofVisualAttention》,其在RNN模型上使用了注意力机制来进行图像分类。随后,Bahdanau等人在论文《NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate》中,使用类似注意力机制在机器翻译任务上将翻译和对齐同时进行,其实际上是第一个将注意力机制应用到NLP领域中。接下来机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。2017年,Google机器翻译团队发表的《Attentionisallyouneed》中大量使用了自注意力(self-attention)机制来学习文本表示。自注意力机制也成为了大家近期的研究热点,并在各种自然语言处理任务上进行探索。10.1编码器的核心——注意力模型•10.1.3ticks和LayerNormalization上一节的最后,作者编写了通过PyTorch2.0自定义层的形式编写了注意力模型的代码。与著名显示代码不同的是,在正式的自注意层中还额外加...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

Q:已扫码付款购买某文档,但购买成功后没有显示下载入口?

A:建议您微信注册登录后购买,不要再次付款。出现该问题的概率很低,联系客服会尽快解决。

Q:如何查询已购买的文档和支付明细?

A:在您的“个人中心-我的订单”里,您可以查看到自己的文档购买记录。

Q:购买后如何下载?

A:在您的“我的订单”里,您可以下载购买的文档到本地。

Q:文档下载后打不开?

A:推荐使用Edge、Chrome内核浏览器下载。下载成功后,使用较高版本 office 或 wps 打开文档。如果文档扩展名不符,修改文档扩展名即可解决。

Q:下载后文档与页面展示有差异?

A:文档的总页数、文档格式和文档大小以系統显示为准,发生争议时,平台客服以系统显示作为判断依据。

Q:文档购买后可以申请退款吗?

A:所有收费文档都可以先部分预览再购买,且平台自身不编辑或修改文档内容,也不对该等内容的真实性、有效性负责。请您谨慎选择所需内容后支付。除因文档自身质量问题外(如:文档出现空白、乱码、内容缺失或下载后内容不一致、无法正常显示、损坏无法打开等情形),付费文档不予退换。

Q: 购买文档后如何咨询客服?

A: 首页点击页面右下角【在线客服】(周一至周五9点-17点),我们将安排专人为您处理。

非碳基智慧
实名认证
内容提供者

普及大数据,人工智能基本知识,关注大数据,人工智能运用特别是医疗行业的应用场景。

确认删除?
回到顶部
在线客服
己有书馆