点击蓝字
关注我们
AI TIME欢迎每一位AI爱好者的加入!
3月3日晚7:30-9:00
AI TIME特别邀请了一位优秀的讲者跟大家共同开启AAAI 专场一!
哔哩哔哩直播通道
扫码关注AITIME哔哩哔哩官方账号
观看直播
链接:/21813994
★ 邀请嘉宾★
顾小东:上海交通大学副教授,博士生导师,研究方向为程序搜索、对话生成、语言模型等。博士毕业于香港科技大学,师从Sunghun Kim教授。-间作为实习生在微软亚研院从事程序自动生成方面的研究。以第一作者在ICLR、ICSE、FSE、AAAI、IJCAI等人工智能和软件工程领域顶级会议发表论文数篇,并担任审稿人。
报告题目:
基于学习排序的对话模型预训练策略
摘要:
预训练语言模型在对话生成领域取得一定的成功,然而现有的方法通常将多轮对话上下文视为一段较长的单词序列,采用字符级的自注意机制进行表示学习。该策略难以准确获取句子层级的连贯关系,并且在时间上很低效。本文提出一种针对多轮对话生成的预训练模型DialogBERT,采用层次化BERT构建句子级的连贯关系,并提出两种预训练方法:掩藏句编码回归和分布式句子顺序预测。在微博、DailyDialog等长短对话数据集上的实验结果标明DialogBERT相比现有基于预训练的对话模型如BART, DialoGPT等可以生成更连贯、细致的应答。
★ Reference★
论文标题:
DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances
论文链接:
/abs/.01775
直播结束后我们会邀请讲者在微信群中与大家答疑交流,请添加“AI TIME小助手(微信号:AITIME_HY)”,回复“aaai”,将拉您进“AAAI 交流群”!
AI TIME微信小助手
主 办:AI TIME 、AMiner
合作伙伴:智谱·AI、中国工程院知领直播、学堂在线、CSDN、学术头条、biendata、大数据文摘、数据派、 Ever链动、机器学习算法与自然语言处理
AMiner是学术搜索和社会网络挖掘研究的重要数据和实验平台,由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统上线,吸引了全球220个国家/地区1000多万独立IP访问,数据下载量230万次,年度访问量超过1100万。
1)AMiner平台:
2)会议专题页面:/conf/emnlp
AI TIME欢迎AI领域学者投稿,期待大家剖析学科历史发展和前沿技术。针对热门话题,我们将邀请专家一起论道。同时,我们也长期招募优质的撰稿人,顶级的平台需要顶级的你,
请将简历等信息发至yun.he@!
微信联系:AITIME_HY
AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,打造一个知识分享的聚集地。
更多资讯请扫码关注
我知道你在看哟
点击阅读原文跳转直播间