BERT Topic推荐-AMiner_AMiner学术搜索和科技情报挖掘的博客-程序员秘密

AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

必读论文：https://www.aminer.cn/topic

BERT全称是Bidirectional Encoder Representations from Transformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。作为一个Word2Vec的替代者，在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。
BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，所谓自监督学习是指在没有人工标注的数据上运行的监督学习。在以后特定的NLP任务中，我们可以直接使用BERT的特征表示作为该任务的词嵌入特征。所以BERT提供的是一个供其它任务迁移学习的模型，该模型可以根据任务微调或者固定之后作为特征提取器。
该论文集共收录112篇论文，最高引用数为7048，华人学者中，来自复旦大学的黄萱菁和北京大学的李显刚等均在该领域有论文发表。

论文集地址： https://www.aminer.cn/topic/5fbe3e7a92c7f9be21150bb7

在这里插入图片描述

本文链接：https://blog.csdn.net/AI_Conf/article/details/110198292

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Python中xml初始数据已及csv文件和多线程_weixin_42077001的博客-程序员秘密

项目的研发或者上线阶段，为了方便，可能需要初始化数据库：包括用户，权限，或者一些其他的基础数据。我这里采用的是解析Xml文件初始化数据库。 (1)Xml文件的格式如下： (2)配置初始化数据的Servlet 在web.xml中配置 &lt;servlet&gt;&lt;servlet-name&gt;PersistenceTest&lt;/servlet-name&gt;&lt;...

应用电子技术要学计算机什么,应用电子技术学什么？_喂哟哎的博客-程序员秘密

01应用电子技术主要学：电路基础、电工基础、电子工艺、低频电子线路、高频电子线路、数字电子线路、微机原理及应用、单片机原理及应用、自动化控制技术等。应用电子技术是一门学科，培养具备智能电子产品设计、质量检测、生产管理等方面的基本理论知识和基本技能，能在电子领域和部门生产第一线从事智能电子产品的设计与开发、质量检测、生产管理、智能电子产品的销售和技术支持技能应用型人才。实验课程计算机应用基础，电工和...

react 错误边界_React with GraphQL和错误边界中的自定义错误页面_cumichun6193的博客-程序员秘密

react 错误边界by Abi Noda 通过Abi Noda React with GraphQL和错误边界中的自定义错误页面 (Custom error pages in React with GraphQL and Error Boundaries)If you like this article please support me by checking out Pull Remi...

NLP分类任务中的损失函数的选择_分类任务损失函数_colourmind的博客-程序员秘密

NLP分类任务可以分为单标签和多标签，在进行这些分类任务的时候，怎么选择损失函数呢？一、单标签分类任务单标签分类任务很简单，就是一个样本只有一个标签；进一步，根据类别的多少可以分为二分类和多分类。1、二分类任务只有2个类别，非A即B，那么这种情况下，可以采用如下的方式：a、sigmoid激活函数+BCELoss训练代码实现方式如下#output [B,C]output = torch.sigmoid(output)loss = f.binary_cross_entropy(

欢迎使用CSDN-markdown编辑器_程序员入门进阶的博客-程序员秘密

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl B 斜体 Ctrl I 引用 Ctrl

CM0/CM3/CM4的主要区别（转载）_QTABLE的博客-程序员秘密

随便推点

【hive正则匹配】like,rlike,regexp,regexp_replace,regexp_extract_hive like 正则_sodaloveer的博客-程序员秘密

【hive正则匹配】like,rlike,regexp,regexp_replace,regexp_extract

荧光定量PCR介绍_微基生物的博客-程序员秘密

什么是qPCRqPCR也叫Real-time Quantitativ PCR，即实时荧光定量核酸扩增检测系统，就是在PCR扩增过程中，通过荧光信号，对PCR进程进行实时监测，以此实现在对初始模板的定量分析。qPCR分类根据Real-time qPCR 的化学发光原理可以分为2大类: 一类为非探针类，其中包括如[email protected] I染料法等，通过染料来指示扩增产物的增加。一类为探针类，包括TaqMan探针和分子信标，利用与靶序列特异杂交的探针来指示扩增产物的增加。1、SYBRGreenⅠ染料..