医疗预训练大模型

医疗预训练大模型_第1页
医疗预训练大模型_第2页
医疗预训练大模型_第3页
预训练大模型与医疗:从算法研究到应用闾海荣博士|清华大学自动化系20230525@福州,CHIMA20231.预训练大模型概述2.理解大模型的内在机理3.赋予模型精准性与可解释性4.医疗领域应用5.清华探索:数基生命Page2CONTENTS预训练:从大数据到小数据③精准可解释④医疗应用②剖析大模型①关于预训练预训练大模型(学习共性)大数据(低成本无标注)少量特定领域标注数据(成本高)微调小模型(学习特性)⑤数基生命1.模型角度:模型参数不再是随机初始化,而是通过一些任务(如语言模型)进行预训练;2.数据角度:将训练任务拆解成共性学习和特性学习两个步骤。Page3以英文电子病历后结构化为示例③精准可解释④医疗应用⑤数基生命②剖析大模型①关于预训练英文Page4英文英文电子病历后结构化电子病历后结构化电子病历后结构化A不懂英文B懂英文C懂英文的医生Transformer架构:预训练的基石③精准可解释④医疗应用⑤数基生命②剖析大模型①关于预训练从word2vec到Transformer从context-free到context-awarePage5BERT和GPT③精准可解释④医疗应用⑤数基生命②剖析大模型①关于预训练▪两类典型的大语言模型▪BERT:BidirectionalEncoderRepresentationsfromTransformers▪双向模型,同时考虑前文和后文▪采用掩码语言模型(maskedlanguagemodel)和下一句预测任务(nextsentenceprediction)进行预训练,使得模型能够学习到上下文关系和词汇语义▪通常用于文本分类、序列标注、问答等任务▪GPT:GenerativePre-trainedTransformer▪单向模型,只考虑前文,不考虑后文▪采用自回归(autoregressive)的方式生成文本,即逐个生成下一个词▪通常用于生成文本、对话、问答等任务Page6BERT训练③精准可解释④医疗应用⑤数基生命②剖析大模型①关于预训练BERT主要采用掩码语言模型(maskedlanguagemodel,对应图MaskLM)和下一句预测任务(nextsentenceprediction,对应图NSP)进行预训练,使得模型能够学习到上下文关系和词汇语义。预训练好的BERT可以用于对输入文本进行编码,得到具有语义的向量表示。预训练好的BERT也可以通过微调(fine-tuning)方式适配各类NLP任务:TheStanfordQuestionAnsweringDataset问答(SQuAD)、命名实体识别(NER)、MNLI任务(大规模分类任务,目标是预测第二个句子相对于第一个句子是包含,矛盾还是中立)Page7BERT表示能力③精准可解释④医疗应用⑤数基生命②剖析大模型①关于预训练RepresentedIntoSymbolicSpaceLatentSpacePage...

1、当您付费下载文档后,您只拥有了使用权限,并不意味着购买了版权,文档只能用于自身使用,不得用于其他商业用途(如 [转卖]进行直接盈利或[编辑后售卖]进行间接盈利)。
2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。
3、如文档内容存在违规,或者侵犯商业秘密、侵犯著作权等,请点击“违规举报”。

Q:已扫码付款购买某文档,但购买成功后没有显示下载入口?

A:建议您微信注册登录后购买,不要再次付款。出现该问题的概率很低,联系客服会尽快解决。

Q:如何查询已购买的文档和支付明细?

A:在您的“个人中心-我的订单”里,您可以查看到自己的文档购买记录。

Q:购买后如何下载?

A:在您的“我的订单”里,您可以下载购买的文档到本地。

Q:文档下载后打不开?

A:推荐使用Edge、Chrome内核浏览器下载。下载成功后,使用较高版本 office 或 wps 打开文档。如果文档扩展名不符,修改文档扩展名即可解决。

Q:下载后文档与页面展示有差异?

A:文档的总页数、文档格式和文档大小以系統显示为准,发生争议时,平台客服以系统显示作为判断依据。

Q:文档购买后可以申请退款吗?

A:所有收费文档都可以先部分预览再购买,且平台自身不编辑或修改文档内容,也不对该等内容的真实性、有效性负责。请您谨慎选择所需内容后支付。除因文档自身质量问题外(如:文档出现空白、乱码、内容缺失或下载后内容不一致、无法正常显示、损坏无法打开等情形),付费文档不予退换。

Q: 购买文档后如何咨询客服?

A: 首页点击页面右下角【在线客服】(周一至周五9点-17点),我们将安排专人为您处理。

医管老道
实名认证
内容提供者

给大家分享医院管理中包括医务、护理、院感、运营、绩效、财务和信息等方便的知识和经验。希望大家喜欢!

确认删除?
回到顶部
在线客服
己有书馆