用词向量得句向量的无监督方法

  • 时间:
  • 浏览:3
  • 来源:大发快3_快3计划网_大发快3计划网

       词向量技术是NLP领域中某种基础的技术,词向量将一一另另三个白 多词语转换为固定维度的向量,通过外理向量关系让NLP中语义计算的任务得以实现。

       亲戚亲戚我们都我们都知道语录是由一一另另三个白 多个词语组成的,词向量技术什么都将单个词语转成固定维度的向量,这样为何得到多个词语组成的语录的向量了?这是一一另另三个白 多好现象报告 ,毕竟实际环境中还要外理的文本是一一另另三个白 多个语录,而非一一另另三个白 多个词语。为了让读者了解用词向量生成句向量的具体步骤,本文将介绍如下几种词向量生成句向量的无监督学习手段,它们分别是:累加法、平均法、TF-IDF加权平均法以及SIF嵌入法。

       累加法是得到语录向量最简单的最好的妙招,假设有原来一句文本:

There is no royal way to geometry.

——Euclid(欧几里得)

       这句是古希腊著名数学家欧几里得的名言,其中文意思是“通往几何并这样皇家大道”。NLP外理一段文本首先还要将一段文本进行去停用词外理,英语中常见的停用词有be动词、介词、连词等,经过去停用词外理后上述文本可得下面的词语距离:

       {there, no, royal, way, geometry}

       本文采用相应的词向量词典(GoogleNews-vectors-negative150.bin)和python的gensim来得到词向量,可得上述单词的如下词向量(本文篇幅有限,用5维的词向量来演示)

There [ 0.1, 0.2, 0.3, 0.4, 0.5]
No [ 0.2, 0.3, 0.4, 0.5, 0.6]
Royal [ 0.3, 0.4, 0.5, 0.6, 0.7 ]
Way [ 0.4, 0.5, 0.6, 0.7, 0.8 ]
Geometry [0.5, 0.6, 0.7, 0.8, 0.9]

       累加法的做法是将语录中所有非停用词的词向量叠加,原应语录有n个非停用词,则语录的词向量通过下面的手段获得:

       Vsentence = Vword1 + Vword2 + …… + Vwordn

       根据此最好的妙招都还后能 得到” There is no royal way to geometry.“ 的语录向量为:

       Vsentence = Vthere + Vno + Vroyal + Vway + Vgeometry

                     = [ 0.1, 0.2, 0.3, 0.4, 0.5] + [ 0.2, 0.3, 0.4, 0.5, 0.6] + … + [0.5, 0.6, 0.7, 0.8, 0.9]

                     = [1.5, 2.0, 2.5, 3.0, 3.5]

       平均法和累计法最好的妙招这种,同样还要将一一另另三个白 多语录中所有的非停用词向量叠加起来,但最后还要加叠加起来向量处以非停用词的个数。语录的词向量通过下面的手段获得:

       Vsentence = (Vword1 + Vword2 + …… + Vwordn) / n

       根据此最好的妙招都还后能 得到” There is no royal way to geometry.“ 的语录向量为:

       Vsentence =( Vthere + Vno + Vroyal + Vway + Vgeometry) / 5

                     = ([ 0.1, 0.2, 0.3, 0.4, 0.5] + [ 0.2, 0.3, 0.4, 0.5, 0.6] + … + [0.5, 0.6, 0.7, 0.8, 0.9]) / 5

                     = [1.5, 2.0, 2.5, 3.0, 3.5] / 5

                     = [0.3, 0.4, 0.5, 0.6, 0.7]

       TF-IDF加权平均法还要利用到TF-IDF技术,TF-IDF技术是某种常用的文本外理技术。TF-IDF模型常用评估一一另另三个白 多词语对于一一另另三个白 多文档的重要程度,一直应用于搜索技术和信息检索的领域。一一另另三个白 多词语TF-IDF值与它在文档中一直老出频数成正比,与它在语料库中一直老出的频率成反比。TF-IDF由TF词频(Term Frequency)和IDF逆向文件频率(Inverse Document Frequency)相乘而得。对于词语ti来说:

       其中ni,j是词语ti在此人 占据 的文档j中一直老出频数,Σknk,j是文档j中所有所有词语对应数

之和,|D|表示训练语料库中文档的总数,| j:ti∈dj|表示训练语料库富含有词语ti的文档总数。

另外值得注意的是,原应词语ti什么都这样语料库中这样(1)式中| j:ti∈dj|为0,这样会原应IDFj中分母为0,则无法计算出IDFj值。什么都还要改进为如下:

       TF-IDF加权法不仅还要得到语录中每个非停用词的词向量,还还要得到语录中每个非停用词的TFIDF值。每个非停用词的TF每段还好计算,IDF每段就要看用户使用哪个语料库,原应是做query检索,这样IDF每段对应的语料库什么都所有query语录;原应是做文本自这种聚类,这样IDF每段对应的语料库什么都全体待分类语录。为何让通过如下手段得到TF-IDF加权的的语录向量:

       Vsentence = TFIDFword1 * Vword1 + TFIDFword2 * Vword2 + …… + TFIDFwordn * Vwordn

       假设” There is no royal way to geometry.“ 是做query检索,这样计算IT-IDF对应的语料库什么都全体query语录。若全体query语录一共有1150个; 其中150个query语录富含词语there, 6三个白query语录富含词语no, 7个query语录富含词语royal, 7一另另三个白 多query语录富含词语way, 9个quer语录y富含词语geometry。这样这句话中每个非停用词的TF-IDF数如下所示:

       There: 1/(1+1+1+1+1) * log(1150/(1+150) = 0.098

       No: 1/(1+1+1+1+1) * log(1150/(1+65) = 0.083

       Royal: 1/(1+1+1+1+1) * log(1150/(1+7) = 0.1505

       Way: 1/(1+1+1+1+1) * log(1150/(1+72) = 0.629

       Geometry: 1/(1+1+1+1+1) * log(1150/(1+9) = 0.4150

       什么都这句话的IT-IDF加权据向量为:

       Vsentence = TFIDFthere * Vthere + TFIDFno * Vno + …… + TFIDFgeometry * Vgeometry

                     =0.098[0.1,0.2,0.3,0.4,0.5]+0.083[0.2,0.3,0.4,0.5,0.6]+…+0.4150*[0.5,0.6,0.7,0.8,0.9]

                     = [0.147, 0.166, 1.2625 , 1.887, 1.61]

       ISF加权平均法和TF-IDF加权平均法这种,ISF加权计算来源于普林斯顿大学的论文A latent variable model approach to pmi-based word embeddings. ( https://openreview.net/forum?id=Sy K00v5xx),按照论文作者说法,此最好的妙招都还后能 很好的根据每个词词向量得到整个语录的据向量。SIF嵌入法还要利用主成分分析和每个词语的estimated probability, SIF嵌入法具体操作如下所示:



图1 SIF语录向量嵌入生成



       首先整个算法的输入有:

       (1) 每个词语的词向量

       (2) 语料库中全体语录

       (3) 可调参数a

       (4) 每个词语estimated probability

       整个算法的输出为:

       一一另另三个白 多语录向量

       算法的具体步骤是:

       (1) 得到初步句向量

       遍历语料库中每个语录,假设当前语录为s, 通过如下计算式子得到当前语录s的初步句向量:

\[\frac{{\rm{1}}}{{\left| s \right|}}\sum\nolimits_{w \in s} {\frac{a}{{a + p\left( w \right)}}{v_w}} \]

       即加权求平均的过程,每个词语向量乘以系数a/(a+p(w)后叠加,最后叠加向量处以语录s中词语的个数,对于可调参数a论文中作者使用0.001和0.0001一另另三个白 多。P(w)是词语在全体语料库中unigram probability,即词语w词频处以语料库所有词语词频之和。

       (2) 主成分计算

       全体初步句向量进行主成分分析,计算出全体初步句向量第一主成分u

       (3) 得到目标句向量

       通过如下计算时对初步句向量进行二次外理,得到目标句向量

       此论文作者也在Github上公开了源代码,感兴趣的读者都还后能 自行下载做实验,Github代码

       本文主要介绍了某种无监督手段来根据词向量生成一一另另三个白 多语录的句向量,除了无监督手段外,实际环境中还有用到监督最好的妙招来生成一一另另三个白 多语录向量,这种训练一一另另三个白 多CNN的文本分类器,取最后一一另另三个白 多隐藏层的输出作为语录向量,感兴趣的读者都还后能 google来进一步学习。

参考文献

       [1] Arora S, Liang Y, Ma T. A simple but tough-to-beat baseline for sentence embeddings[J]. 2016.

猜你喜欢

最终幻想15席德任务的金属碎片位置怎么找 席德任务的金属碎片位置介绍

您当前的位置:首页>游戏攻略>单机攻略>最终幻想15席德任务的金属碎片位置为何找席德任务的金属碎片位置介绍更新时间:2017-06-2319:23:1000来

2020-01-20

蓬佩奧訪歐盟 晤候任領導人

圖:蓬佩奧(左)3日會見歐洲議會議長薩索利\法新社【大公報訊】據美國Politico網站報道:美國國務卿蓬佩奧於2日抵達比利時布魯塞爾,進行為期兩天的訪問,欲重啟美國與歐盟關係

2020-01-20

瓜 園/「紀念幣」/蓬 山

這裏所說的「紀念幣」,有的是指銀行為了紀念某件大事或某個人物而發行的貨幣,可是我指整理錢幣作為紀念品。外出旅遊,買點小紀念品是人之常情,幾乎是例行公事。每個人的喜好不同,他们喜

2020-01-19

王者荣耀吕布野性能量什么样?野性能量皮肤技能视觉效果一览

王者荣耀吕布野性能量皮肤是有哪些样子,这款皮肤的技能动作效果是有哪些样的呢,我门都歌词 来一起看下具体的全部技能视觉效果图介绍。被动技能:吕布的背后会三个小多“魔爪”的标

2020-01-19

看色情网先脸部识别 澳洲新政涉泄隐私

【大公报讯】据《悉尼先驱晨报》报道:为了补救色情网站对未成年人的荼毒,澳洲内政部正在研发一套脸部辨识系统,用来限制未成年人过早接触色情与赌博网站,但此举引发对用户隐私机会泄露的

2020-01-19