荣昌电工培训学校,荣昌电工培训班

荣昌电工培训班,荣昌电工培训学校简介：你有尝试从 BERT 提取编码后的 sentence embedding 吗？很多小伙伴的第一反应是：不就是直接取顶层的[CLS] token的embedding作为句子表示嘛，难道还有其他套路

荣昌电工培训学校信息内容：,

上图汇报了sentenceembeddings的余弦相似度同多个数据集上真实标签之间的Spearman等级相关性得分（），其中flow-target表示在完整的目标数据集（train+validation+test）上进行学习，flow-NLI表示模型在NLI（natuallanguageinference）任务的测试，绿色箭头表示相对于BERT的baseline，模型的效果有提升，红色反之。

我们可以注意到模型的改进对于效果的提升还是很显著滴！文章同样还在无监督问答任务证明模型的有效性，并将BERT-flow得到的语义相似度同词法相似度(通过编辑距离来衡量)进行对比，结果同样证明模型在引入流的可逆映射后减弱了语义相似性与词法相似性之间的联系！具体信息大家可查阅paper~

小结

总之，这篇paper探究了BERT句子表示对于语义相似性上潜在的问题，并提出了基于流的可逆映射来改进在对应任务上的表现。想多了解的童鞋可以看看原文，相信你们也会喜欢上这篇paper！

原文标题：还在用[CLS]？从BERT得到 强句子Embedding的打开方式！

文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。

责任编辑：haq

.

(编辑:荣昌电工培训学校)