电院计算机系赵海教授ICLR 2020 的文章被评▓为满分论文
电院◢计算机系智能交互与认知工程上海高校重点实验室赵海教授及其合作者的论文被评为ICLR2020满分论文。International Conference on Learning Representations(ICLR)(国际学习表征会议)是深度学习的顶↑级会议。ICLR 2020将于2020年 4 月 26 日在卐埃塞俄比亚首都亚的斯亚贝巴举行。ICLR 2020共收到2594篇论文,有687篇被接收,其中48篇orals,108篇spotlights和531篇poster。在这687篇被录用的文章ζ中有34篇是满分论文。
赵海教授及其合作者的论文题目是:“Data-dependent Gaussian Prior Objective for Language Generation”,论文的第一作者是赵海教授指导的博士研究生♂李祖超同学,赵海教授是共同通讯作者。下面是该论文的简介。
语言理解是人工智能的最高明珠。正如☆理查德·费曼(Richard Feynman)众所周知的格言,“我不能创』造的东西,我就不能理解它”。语言生成反映了语言理解的发展水平。近年来,语言生成模型取得了显着进步,尤其是在深度神经网络(DNN)的〓快速发展下。有几种典型的语言生成模型,例如序列到序列(seq2seq)模型,生成对抗网络(GAN),变分自编码器∑(VAE)和自回归网络。
语言生成通常被建模为序列预测任务,该序列采用最大似然估计(MLE)作为标准训练准则(即目标)。 MLE由于其直观性和灵活性而获得了很大的成功。 但是,由于MLE,序列预测存在下列㊣ 几个问题:
? 曝光偏差:模型在训练过程中没有暴露到所有误差下;
? 损失失配:在训练过程中,我们最大化对数似然,而在推●理过程中,模型是通过不同指标(例如BLEU或ROUGE)进行评估的;
? 多样性缺乏:生成的文本无聊,普通,重复性和短视等;
? 负多样性无知:MLE无法为不〓同的错误模型输出分配适当的分数,这意味着在训练过程中所有错误输出均得到同等对待。
除了负多样性无知之外,已经有各种各样的工作可以缓ξ 解上述MLE作为训练目标的不足。 负多样性无知是不公平地低估了目标集单元的内部关联,由于语言生成的目标单元存在近义,相似表达等情形,这使得语言生成任务中特殊于※一般的序列预测任务。当MLE目标比较其预测序列和真实序列时,它采取了一次全部匹配的策略。预测的序列将被赋▓予正确或不正确的二进制标签。但是,这些不正确的训练预测可能会千差万别,让模型知道哪个错误的预测比其他错误的预测更正确或更不正确,可能会更有效地指导模型训练。
例如,以句子“the little boy sits on the armchair”生成为例(图1),在生成“armchair”的时候,可能会误生成为“sofas”,但通常不Ψ 应误认为“mushroom”。
为了缓解负多样性无知的问题,我们添加了一个额外的高斯先验目标,以增加一个额外的Kullback-Leibler(KL)偏离▅损失项来增强当前的MLE训练。 通过比较两个概率分布来计算额外损失,第一个概率分布来自详细的模型训练预测,第二个概率分布来自于真实的单元空间分布,被定义为一种与数据相关的高斯先验分布。 然后通过KL散度项将建议的数据相关高斯先验目标(D2GPo)注入①到最终损失中。 D2GPo与常用的与数据无关的高斯先验(L2正则化)相距甚远,L2正则化的目的是简化MLE的训练,这也直接加到了MLE损失中。
实验结果表ζ 明,该方法可以有效地利用数据中更详细的先验信息,并可以显着提高典型语言生成任务的性能,包括有监督和无监督的机器翻译,文本摘要,讲故事和图像摘要(图2)。
图1:D2GPo生成示例
图2:图像摘要例子
图2:我们提○出的D2GPo与基线模型在图像摘要任务中的例子。从上面的例子可以看出使用SCST训练的模型返回更精确和更详细的图像摘要;而使用D2GPo训练的模型返︽回一个语法更完整的句子,这说明D2GPo在语言生成任务中的有效性。
计算机系 电子信息与电气工程学院未经允许不得转载:二九年华大学门户 » 电院计算机系赵海教授ICLR 2020 的文章被评为满分论文
相关推荐
- 第二届中国(长三角)乡村振兴高峰论坛在上海交通大▆学举办
- 泰国清迈大学副校长一行访问上海交通大学
- 上交自动化系博士研究生乔磊获得2019 IET Control Theory & Applications最佳论文奖(Premium Award)
- 上海交大出╲版社10种图书入选上海市文创产业项目
- 上海交通大学举办首期ㄨ高端人才培训班
- 上海交大常务副校长丁奎岭一行赴人文学院调研指导
- 上海交大2018工会主席培训班举行开班典礼
- 上海交通大№学重庆校友会选调生座谈会举行
- 上海交通大学举行“党的建设”学科建设研讨会
- 上海交大党委书记姜斯宪出席2018高等教育卐国际论坛年会并作专题讲演
- 上海交大『慰问团赴广东看望2018年入伍→服役学子
- 收好这十条建议,做好公共餐饮场所的科学防护
- 上海交大钱学森研究中心《羁绊与归来——钱学森的回国历↑程》出版座谈会举行
- 上海交通大学青马学校第17期学生党支书培训班开班典礼暨理论教学卐举行
- 上海交通大学举行《攀登者》电影党课
- 姜斯宪:大学办的好不々好,关键看能培养出什么样的人
- 上海市委领导到上海交大调研乡村振兴工作
- “高通量扫描电子显微ㄨ镜”捐赠仪式成◥功举行
- 上海交通大学教职工高雅原创诗文诵读会举行
- 大连理工大学校领导一行到交大调研后⊙勤工作
新闻公告
- 上海交通大学召开“大海洋”推进工作领导小组会议 04-16
- 校党委∩书记杨振斌赴体育系调研 04-16
- 上海交大召开疫情防控工作领导小组会议 04-15
- 科技创新基地建设助力科技创新发展 04-13
- 上海交通大学召开学校资源配置专题研究会议 04-12
- 邓子新院士当选全球工业微生物学会首届主席 04-12
高考招生
- 上海交通大学2016年本科招生♂章程 08-05
- 上海交通大学2017年本科招生章程 08-05
- 上海交通大学2018年本科招生章程 08-05
- 上海交】通大学本科2015年招生章程 08-05
- 上海交通大学2016年本科招生章程 08-05
- 上海交通大学2012本科招生章程 08-05
- 上海交通大学2013招生章程 08-05
- 上海交通大学2009年普通高等学校本科生招生章程 08-05
- 上海交通大学2011年本科生招√生章程 08-05
- 上海交通大学2008年本科生招生章程 08-05