怎么说论文的核心概念
作者 | 李梅
编辑 | 陈彩娴
机器学习领域的研究进展迅速，研究者既要及时跟进最新研究，也要不时地回顾经典。寒假开始，各位机器学习er在度假之余，想必也不会忘了自己卷王的身份。
最近，Github上出现了一个名为“ML Papers Explained”的优质项目，精选了机器学习领域的一些核心概念，对相关工作的原始论文做了解读，实在是广大MLer的一大福利。
项目地址：https://github.com/dair-ai/ML-Papers-Explained
该项目由三位数据 Rastogi、Diego Marinho、Elvis Saravia创建，旨在介绍机器学习领域重点技术的研究论文，既有经典重现，也有最新前沿跟进，突出论文的主要创新点，讨论它们对研究领域的影响及其应用空间。
该项目目前集合了25个机器学习概念，涉及计算机视觉、目标检测、文档信息处理、自然语言处理等方向。按类别划分，包括RCNN系列：
Transformer系列（Layout Transformers、Document Information Processing、Vision Transformers）：
以及Single Stage Object Detectors系列：
点击这些关键词，就是一篇论文详解，这些论文解读大都不是长篇累牍，而是简明扼要地介绍论文的核心发现、实验结果，同时有进一步的延伸思考。文章的排版也清晰明了，能够帮助研究者快速且深入理解一篇论文的精髓。这里选取两篇解读来一睹为快。
TinyBERT解读
在大模型越来越成为AI核心研究方向的当下，回顾这些经典的语言模型论文是大有裨益的。比如自BERT模型出现以后，提高模型参数量的同时降低大模型的计算成本，就一直是该领域的一个热点方向。
Github上的这个论文解读项目就精选了多篇相关论文，以一篇对知识蒸馏方法TinyBERT的解读为例：
这项工作由年华中科技大学和华为诺亚方舟实验室合作，在2019年提出。这篇解读概括了TinyBERT这项工作的三个核心贡献：Transformer蒸馏、两步蒸馏过程、数据增强，这些方法改进了基于Transformer的模型在特定情况下的知识蒸馏效果。
首先是Transformer蒸馏。这部分介绍了论文所用蒸馏方法的核心思想和公式，并解释了先前的蒸馏工作DistillBERT的弊端，如它使用教师模型来初始化学生模型的权重，导致两者必须有相同的内部尺寸并允许层数不同，而TinyBERT通过在嵌入和隐藏损失函数中引入可学习的投影矩阵来规避这个问题，从而使得学生和教师模型的内部表示在元素方面可以进行比较。
另外，解读作者还在这里引用了另一项相关研究，为TinyBERT的进一步工作提出了一个有趣的方向。
然后是两步蒸馏法。这里说明了TinyBERT所使用的蒸馏过程遵循了原始BERT的训练方法——在大规模的通用数据集上进行预训练以获得语言特征，然后针对特定任务数据进行微调。所以在第一个步骤中，使用在通用数据上训练的通用BERT作为教师，学生学习模仿教师的嵌入和转换层激活来创建一个通用的TinyBERT；在第二个步骤中，将教师模型切换到特定任务模型并继续训练学生模型。
第三个是数据增强。这部分介绍了论文作者使用了数据增强技术来在微调步骤中对特定任务的数据集进行扩展。
之后文章精简地呈现了原始论文中TInyBERT的关键数据，如该模型的性能在基准测试中达到了BERT基础教师模型的96%，同时体积缩小了7.5倍，速度提高了9.4倍。
针对原始论文的三个核心贡献，文章还给出了一些有价值的思考，如特定任务的蒸馏（微调）比通用蒸馏（预训练）更重要等等。
Swin Transformer解读
再比如当年屠榜各大视觉任务的Swin Transformer，由微软亚洲研究院郭百宁团队提出，是视觉领域的研究者必读的一篇论文，这项工作也在这个论文解读项目有精彩的分享：
文章首先以原始论文中的关键图表，简要介绍了Swin Transformer的基本方法及其核心设计元素。
然后逻辑清晰地详解了Swin Transformer的架构细节，包括4个stage和Swin Transformer Block
接着列出了Swin Transformer的几项实验：
有兴趣的读者可以自行前往该项目探索一番，如果想分享自己的论文解读，也可以向该项目提交PR。据项目作者透露，后续还将推出notebook和讲座，帮助大家更好地跟进研究进展。
更多内容，点击下方关注：
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。
雷峰网
","force_purephv":"0","gnid":"99e683a01073be318","img_data":[{"flag":2,"img":[{"desc":"","height":"416","title":"","url":"https://p0.ssl.img.360kuai.com/t016c39c04c1e6daae8.jpg","width":"740"},{"desc":"","height":"512","title":"","url":"https://p0.ssl.img.360kuai.com/t01eed0bd2562334b19.jpg","width":"1080"},{"desc":"","height":"134","title":"","url":"https://p0.ssl.img.360kuai.com/t0190622ff2a3e6991e.jpg","width":"182"},{"desc":"","height":"749","title":"","url":"https://p0.ssl.img.360kuai.com/t014426e6bd4a4f737d.jpg","width":"365"},{"desc":"","height":"113","title":"","url":"https://p0.ssl.img.360kuai.com/t01a351ede8ab7d66af.jpg","width":"355"},{"desc":"","height":"92","title":"","url":"https://p0.ssl.img.360kuai.com/t0175371459c77938e4.jpg","width":"629"},{"desc":"","height":"668","title":"","url":"https://p0.ssl.img.360kuai.com/t01e28912083f504127.jpg","width":"639"},{"desc":"","height":"210","title":"","url":"https://p0.ssl.img.360kuai.com/t0156b2f43c639fa140.jpg","width":"638"},{"desc":"","height":"416","title":"","url":"https://p0.ssl.img.360kuai.com/t012d1b1ec5cb867483.jpg","width":"639"},{"desc":"","height":"482","title":"","url":"https://p0.ssl.img.360kuai.com/t01b070893d9d255440.jpg","width":"630"},{"desc":"","height":"437","title":"","url":"https://p0.ssl.img.360kuai.com/t01412e5011f00ea2e0.jpg","width":"633"},{"desc":"","height":"251","title":"","url":"https://p0.ssl.img.360kuai.com/t01b6c3444aa0d0f7db.jpg","width":"638"},{"desc":"","height":"131","title":"","url":"https://p0.ssl.img.360kuai.com/t01f0c136f9efb17bf9.jpg","width":"714"},{"desc":"","height":"463","title":"","url":"https://p0.ssl.img.360kuai.com/t01c6c93484233ec8ff.jpg","width":"880"},{"desc":"","height":"506","title":"","url":"https://p0.ssl.img.360kuai.com/t013166ea45705ec8df.jpg","width":"874"},{"desc":"","height":"180","title":"","url":"https://p0.ssl.img.360kuai.com/t01cb5c1ef823df557c.jpg","width":"469"},{"desc":"","height":"300","title":"","url":"https://p0.ssl.img.360kuai.com/t01720106cf95731d77.jpg","width":"700"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"cache","pub_time":1673932706000,"pure":"","rawurl":"http://zm.news.so.com/7324692aa0d7cdad9bb00563a949306e","redirect":0,"rptid":"b24257cfcb5a655c","s":"t","src":"雷峰网","tag":[{"clk":"ktechnology_1:github","k":"github","u":""},{"clk":"ktechnology_1:机器学习","k":"机器学习","u":""}],"title":"看懂这25个核心概念，就没有啃不动的机器学习论文
傅牵秆4958硕士论文中核心概念可以自己给出定义吗 -
时滢佩13894449263 ______ 一、周密思考,慎重落笔 论文提纲 论文是一项“系统工程”,在正式动笔之前,要对文章进行通盘思考,检查一下各项准备工作是否已完全就绪.首先,要明确主题.主题是文章的统帅,动笔之前必须想得到十分清楚.清人刘熙载说:“凡作...
傅牵秆4958毕业论文的理论基础怎么写 -
时滢佩13894449263 ______ 就是说从理论上找到证据,在行动之前要从理论上去论证行动的合理性,必要性等等. 基础理论指一门学科的基本概念、范畴、判断与推理.科学的基础理论,指科学的基本概念、范畴与原理. 经济学基础理论是由概念、范畴与范畴体系组成的学科逻辑体系,包括科学的经济学理论与不科学的经济学理论.科学的经济学理论即经济学科学真理,内容是反映经济发展客观规律的经济学科学规律,形式是语言(包括数学).不科学的经济学理论往往是复杂经济现象中某些方面的抽象,是片面的,包含着合理的因素.
傅牵秆4958什么是论文核心资料 -
时滢佩13894449263 ______ 跟你的研究方向、内容特别一致,切实代表你所在学科方向的前沿,这样的论文资料就是你要写论文的核心参考资料
傅牵秆4958如何写好绪论? -
时滢佩13894449263 ______ 如何写好学术论文之「绪论」 (一)关于学位论文之「绪论」,大致上有四个重点,必须先厘清,并好好掌握. 1.问题提出:研究动机、目的及问题陈述 2.文献评论 3.研究途径、研究架构及研究方法 4.论文重点说明 (二)关于「绪论」...
傅牵秆4958怎么写论文? -
时滢佩13894449263 ______ 一、标题 标题是文章的眉目.各类文章的标题,样式繁多,但无论是何种形式,总要以全部或不同的侧面体现作者的写作意图、文章的主旨.毕业论文的标题一般分为总标题、副标题、分标题几种. (一)总标题 总标题是文章总体内容的体现...
傅牵秆4958学术论文有哪些写作要点? -
时滢佩13894449263 ______ 学术论文写作要点 随着科学技术的发展,越来越多的学者涉及到学术论文的写作领域,那么怎样写学术论文、学术论文写作是怎样要求的、格式如何,下面就介绍一下学术论文的写作,希望能对您论文写作有所帮助.(一)题名(Title,Topic)....
傅牵秆4958论文是什么东西?怎么写?
时滢佩13894449263 ______ 随着物理实验越来越被人们所重视以及高等学校开设综合性、研究性、设计性实验的数量增加,实验论文的写作也越来越被人们重视,本文介绍实验论文的性质结构和写作...