word2vec使用说明

Google的word2vec官网:https://code.google.com/p/word2vec/

下载下来的Demo源码文件共有如下几个:
word2vec – Revision 41: /trunk

LICENSE //Apache LICENSE
README.txt //工具使用说明
compute-accuracy.c
demo-analogy.sh  //
demo-classes.sh  //词聚类的示例脚本
demo-phrase-accuracy.sh
demo-phrases.sh  //
demo-train-big-model-v1.sh
demo-word-accuracy.sh
demo-word.sh
distance.c
makefile
questions-phrases.txt
questions-words.txt
word-analogy.c
word2phrase.c
word2vec.c

【快速入门】:1. 从http://word2vec.googlecode.com/svn/trunk/ 下载所有相关代码(所有的文件如上);
2. 运行make编译word2vec工具:Makefile的编译代码在makefile.txt文件中,先改名makefile.txt 为Makefile,然后在当前目录下执行make进行编译,生成可执行文件(编译过程中报出很出Warning,暂且不管);
3. 运行示例脚本:./demo-word.sh 和 ./demo-phrases.sh:看一下./demo-word.sh的内容,大致执行了3步操作
a). 从http://mattmahoney.net/dc/text8.zip 下载了一个文件text8 ( 一个解压后不到100M的txt文件,可自己下载并解压放到同级目录下),
b). 执行word2vec生成词向量到 vectors.bin文件中,(速度比较快,几分钟的事情)

2.将分好词的训练语料进行训练,假定我语料名称为test.txt且在word2vec目录中。输入命令:
./word2vec -train text8 -output vectors.bin -cbow 0 -size 48 -window 5 -negative 0 -hs 1 -sample 1e-4 -threads 20 -binary 1 -iter 100
以上命令 -train text8 表示的是输入文件是text8,-output vectors.bin 输出文件是vectors.bin,-cbow 0表示不使用cbow模型,默认为Skip-Gram模型。-size 48 每个单词的向量维度是48,-window 5 训练的窗口大小为5就是考虑一个词前五个和后五个词语(实际代码中还有一个随机选窗口的过程,窗口大小小于等于5)。-negative 0 -hs 1不使用NEG方法,使用HS方法。-sampe指的是采样的阈值,如果一个词语在训练样本中出现的频率越大,那么就越会被采样。-binary为1指的是结果二进制存储,为0是普通存储(普通存储的时候是可以打开看到词语和对应的向量的)除了以上命令中的参数,word2vec还有几个参数对我们比较有用比如-alpha设置学习速率,默认的为0.025. –min-count设置最低频率,默认是5,如果一个词语在文档中出现的次数小于5,那么就会丢弃。-classes设置聚类个数,看了一下源码用的是k-means聚类的方法。要注意-threads 20 线程数也会对结果产生影响。
注意:–min-count设置最低频率,默认是5,进行参数传递无效,我们可能是因为参数名中有-,唉我们只好在程序word2vec.c中将min-count初始化为1了。

· 架构:skip-gram(慢、对罕见字有利)vs CBOW(快)
· 训练算法:分层softmax(对罕见字有利)vs 负采样(对常见词和低纬向量有利)
· 欠采样频繁词:可以提高结果的准确性和速度(适用范围1e-3到1e-5)
· 文本(window)大小:skip-gram通常在10附近,CBOW通常在5附近
[root@localhost /home/jacoxu/word2vec]$./demo-word.sh
make: Nothing to be done for `all’.
Starting training using file text8
Vocab size: 71291
Words in train file: 16718843
Alpha: 0.000560 Progress: 98.88% Words/thread/sec: -117.11k
c). 执行./distance vectors.bin可以进入一个计算word相似度的demo中去,如下:
========中断========
52 if (ch == ‘\n’) {
53 strcpy(word, (char *)”");

148 // Sort the vocabulary and keep at the first position
149 qsort(&vocab[1], vocab_size – 1, sizeof(struct vocab_word), VocabCompare);
—-
看代码,应该是\n这个词,而且特意排在第一位了
====================
对于训练出来的模型进行操作,我推荐大家使用http://blog.csdn.net/zhaoxinfan/article/details/11640573这个java版本的模型读取类,比较方便。可以参照:http://blog.csdn.net/jj12345jj198999/article/details/11069485
Enter word or sentence (EXIT to break): china

Word: china Position in vocabulary: 486

Word Cosine distance (找到了很多和china共现度很高的词汇,可以得到认可)
————————————————————————
taiwan 0.656181
japan 0.633499
tibet 0.607813
manchuria 0.581230
hainan 0.561931
xiamen 0.555860
chongqing 0.550099
jiang 0.549195
chinese 0.548320
liao 0.548220

Enter word or sentence (EXIT to break): hongkong

Word: hongkong Position in vocabulary: 24623

Word Cosine distance(感觉效果很糟糕,有些不知所云,认可度很低,主要还是因为语料太少,覆盖面窄)
————————————————————————
jardines 0.708792
matheson 0.659444
jardine 0.611295
shareholding 0.489012
company 0.431918
kowloon 0.417640
firm 0.415780
venture 0.415077
plc 0.409350
shanghai 0.404716

然后看一下./demo-phrases.sh的内容,也大致执行了3步操作:
a). 从http://www.statmt.org/wmt14/training-monolingual-news-crawl/news.2012.en.shuffled.gz 下载了一个文件news.2012.en.shuffled.gz ( 一个解压到1.7G的txt文件,可自己下载并解压放到同级目录下);
b). 将文件中的内容拆分成 phrases,然后执行./word2vec生成短语向量到 vectors-phrase.bin文件中(数据量大,速度慢,将近半个小时),如下:
[root@localhost /home/jacoxu/word2vec]$ bash demo-phrases.sh (总耗时75分钟)
make: Nothing to be done for `all’.
Starting training using file news.2012.en.shuffled-norm0
Words processed: 296900K Vocab size: 33198K
Vocab size (unigrams + bigrams): 18838711
Words in train file: 296901342
Words written: 296900K
real 11m1.465s
user 10m47.888s
sys 0m8.317s
Starting training using file news.2012.en.shuffled-norm0-phrase0
Words processed: 280500K Vocab size: 38761K
Vocab size (unigrams + bigrams): 21728781
Words in train file: 280513979
Words written: 280500K
real 10m43.277s
user 10m29.983s
sys 0m8.137s
Starting training using file news.2012.en.shuffled-norm1-phrase1
Vocab size: 681320
Words in train file: 283545447
Alpha: 0.000005 Progress: 100.00% Words/thread/sec: 83.67k
real 49m3.925s
user 847m21.369s
sys 1m11.140s

c). 执行./distance vectors-phrase.bin 可以进入一个计算word相似度的demo中去,如下:
Enter word or sentence (EXIT to break): great_wall

Word: great_wall Position in vocabulary: 36052

Word Cosine distance (确实找到一些极为相关的词汇)
————————————————————————
mutianyu 0.588232
terra_cotta_warriors 0.541900
forbidden_city 0.527797
changsha 0.520975
based_koryo_tours 0.510810
three_gorges 0.509765
world’s_tallest 0.501899
dajie 0.500128
ming_dynasty 0.496112
qin_shihuang 0.486954

Enter word or sentence (EXIT to break): hong_kong

Word: hong_kong Position in vocabulary: 2322

Word Cosine distance (并没有任何体现Hong Kong本土的词汇,仍是语料的问题)
————————————————————————
singapore 0.755051
mainland_china 0.739481
shanghai 0.732764
hong_kong’s 0.727834
mainland_chinese 0.652696
singapore’s 0.636082
keith_bradsher_contributed_reporting 0.626221
hang_seng_index_fell 0.621854
chinese 0.617985
taipei 0.609921

【其他】:Java版本Word2Vector

词向量的训练最经典的有 3 个工作,C&W 2008、M&H 2008、Mikolov 2010,看看其他几个版本的Word Embedding:
(以下大部分内容摘自Zhao老板的学生licstar)
1. 【C&W 的 SENNA – 2008】
■ 训练语料及规模:English Wikipedia + Reuters RCV1 共 631M + 221M 词;
■ 词向量:130000 词,50 维;
■ 特点:不区分大小写,经过有监督修正,训练了7周;
■ 资源:测试代码、词向量 [链接]

Ronan Collobert 和 Jason Weston 在 2008 年的 ICML 上发表的《A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning》里面首次介绍了他们提出的词向量的计算方法,他们还把论文所写的系统开源了,叫做 SENNA,3500 多行纯 C 代码也是写得非常清晰。C&W 这篇论文主要目的并不是在于生成一份好的词向量,甚至不想训练语言模型,而是要用这份词向量去完成 NLP 里面的各种任务,比如词性标注、命名实体识别、短语识别、语义角色标注等等。

2. 【M&H 的 HLBL – 2007】
Andriy Mnih 和 Geoffrey Hinton 在 2007 年和 2008 年各发表了一篇关于训练语言模型和词向量的文章。2007 年发表在 ICML 上的《Three new graphical models for statistical language modelling》表明了 Hinton 将 Deep Learning 战场扩展到 NLP 领域的决心。2008 年发表在 NIPS 上的《A scalable hierarchical distributed language model》则提出了一种层级的思想替换了 Bengio 2003 方法中最后隐藏层到输出层最花时间的矩阵乘法,在保证效果的基础上,同时也提升了速度。2008 年 NIPS 的这篇论文,介绍的是“hierarchical log-bilinear”模型,很多论文中都把它称作简称“HLBL”。

3. 【Mikolov 的 RNNLM – 2010】
■ 训练语料及规模:Broadcast news;
■ 词向量:82390 词,80、640、1600 维;
■ 特点:不区分大小写;训练了若干天;
■ 资源:训练、测试代码、词向量 [链接]

Bengio 2003 在论文里提到一句,可以使用一些方法降低参数个数,比如用循环神经网络。Mikolov 就抓住了这个坑,从此与循环神经网络结下了不解之缘。他最早用循环神经网络做语言模型是在 INTERSPEECH 2010 上发表的《Recurrent neural network based language model》里。Recurrent neural network 是循环神经网络,简称 RNN,还有个 Recursive neural networks 是递归神经网络(Richard Socher 借此发了一大堆论文),也简称 RNN。看到的时候需要注意区分一下。不过到目前为止,RNNLM 只表示循环神经网络做的语言模型,还没有歧义。
在之后的几年中,Mikolov 在一直在RNNLM 上做各种改进,有速度上的,也有准确率上的。现在想了解 RNNLM,看他的博士论文《Statistical Language Models based on Neural Networks》肯定是最好的选择。

4. 【Huang 的语义强化 – 2012】
■ 训练语料及规模:English Wikipedia;
■ 词向量:100232 词,50 维;
■ 特点:不区分大小写,最高频的6000词,每词有10种表示;
■ 资源:训练、测试代码、词向量 [链接]

与前几位大牛的工作不同,Eric H. Huang 的工作是在 C&W 的基础上改进而成的,并非自成一派从头做起。他这篇发表在 ACL 2012 上的《Improving Word Representations via Global Context and Multiple Word Prototypes》试图通过对模型的改进,使得词向量富含更丰富的语义信息。他在文中提出了两个主要创新来完成这一目标:(其实从论文标题就能看出来)第一个创新是使用全文信息辅助已有的局部信息,第二个创新是使用多个词向量来表示多义词。
Huang 认为 C&W 的工作只利用了“局部上下文(Local Context)”。C&W 在训练词向量的时候,只使用了上下文各 5 个词,算上自己总共有 11 个词的信息,这些局部的信息还不能充分挖掘出中间词的语义信息。Huang 直接使用 C&W 的网络结构计算出一个得分,作为“局部得分”。
然后 Huang 提出了一个“全局信息”,这有点类似传统的词袋子模型。词袋子模型是把文章中所有词的 One-hot Representation 加起来,形成一个向量(就像把词全都扔进一个袋子里),用来表示文章。Huang 的全局模型是将文章中所有词的词向量求个加权平均(权重是词的 idf),作为文章的语义。他把文章的语义向量和当前词的词向量拼接起来,形成一个两倍长度的向量作为输入,之后还是用 C&W 的网络结构算出一个打分。
有了 C&W 方法的得到的“局部得分”,再加上在 C&W 方法基础上改造得到的“全局得分”,Huang 直接把两个得分相加,作为最终得分。最终得分使用 C&W 提出的 pair-wise 目标函数来优化。
加了这个全局信息有什么用处呢?Huang 在实验中发现,他的模型能更好地捕捉词的语义信息。比如 C&W 的模型中,与 markets 最相近的词为 firms、industries;而 Huang 的模型得到的结果是 market、firms。很明显,C&W 的方法由于只考虑了临近词的信息,最后的结果是词法特征最相近的词排在了前面(都是复数形式)。不过我觉得这个可能是英语才有的现象,中文没有词形变化,如果在中文中做同样的实验还不知道会有什么效果。
Huang 论文的第二个贡献是将多义词用多个词向量来表示。Bengio 2003 在最后提过这是一个重要的问题,不过当时他还在想办法解决,现在 Huang 给出了一种思路。
将每个词的上下文各 5 个词拿出来,对这 10 个词的词向量做加权平均(同样使用 idf 作为权重)。对所有得到的上下文向量做 k-means 聚类,根据聚类结果给每个词打上标签(不同类中的同一个词,当作不同的词处理),最后重新训练词向量。
当然这个实验的效果也是很不错的,最后 star 的某一个表示最接近的词是 movie、film;另一个表示最接近的词是 galaxy、planet。

5. 【Turian 对比试验 – 2010】
优化C&W代码并重跑试验
■ 训练语料及规模:Reuters RCV1 63M 词;
■ 词向量:268810 词 25、50、100、200 维;
■ 特点:区分大小写,训练了若干周;
■ 资源:训练代码、词向量 [链接]

由M帮忙重跑M&H
■ 训练语料及规模:Reuters RCV1;
■ 词向量:246122 词 50、100 维;
■ 特点:区分大小写,用GPU训练了7天;
■ 资源:训练代码、词向量 [链接]

问题?主页上提供了 两份 词向量,一份是 scaled,一份是unscaled,scaled的作用是什么?这个Scale貌似是全局的,而非单个向量的。
README.text中是这么解释的:
embeddings-scaled.*.txt.gz
Embeddings scaled by 0.1/stddev(embeddings), as described in the ACL 2010 paper.
These are the embeddings you should use by default, if you just want word features.
The first column is the word, the rest of the columns are the dimensions of the embedding.
也就是说通过stddev进行了一个全局的样本标准偏差进行缩放;

Turian 的工作前面只是提了一下,他在做 C&W 向量与 H&M 向量的对比实验时,自己按照论文重新实现了一遍他们的方法,并公布了词向量。后来 C&W 在主页上强调了一下:尽管很多论文把 Turian 实现的结果叫做 C&W 向量,但是与我发布的词向量是不同的,我这个在更大的语料上训练,还花了两个月时间呢!
Turian 公布的 M&H 向量是直接请 Andriy Mnih 在 Turian 做好的语料上运行了一下 HLBL,所以没有代码公布。同时 Turian 自己实现了一份 LBL模型,但是没有公布训练出来的词向量。(这是根据他主页上描述推测的结果,从 Turian 的论文中看,他应该是实现了 HLBL 算法并且算出词向量的。)
RCV1 的词数两篇文章中所写的数据差距较大,还不知道是什么原因。

Turian 发表在 ACL 2010 上的实验对比了 C&W 向量与 M&H 向量用作辅助特征时的效果。在短语识别和命名实体识别两个任务中,C&W 向量的效果都有略微的优势。同时他也发现,如果将这两种向量融合起来,会有更好的效果。除了这两种词向量,Turian 还使用 Brown Cluster 作为辅助特征做了对比,效果最好的其实是 Brown Cluster,不过这个已经超出本文的范围了。

【值得一读】:
1. What are the continuous bag of words and skip-gram architectures
2. Hierarchical Softmax & Negative Sampling
3. word2vec 中的数学原理详解
4. Deep Learning in NLP (一)词向量和语言模型:http://licstar.net/archives/328

【问题语料训练实例】

1. 搜集语料

StackOverflow语料下载train.zip https://www.kaggle.com/c/predict-closed-questions-on-stack-overflow/ 进行处理,得到content内容和title标题作为训练语料

2. 利用word2vec进行训练,采用和官网提供的300维Vector同样的训练模型:

-cbow 1 -size 300 -window 5 -negative 3 -hs 0 -sample 1e-5 -threads 12 -binary 1 -iter 15

(注:默认的低频下限是5,由于当前版本(word2vec42)程序有bug,原因不太清楚,如果初始化失败,则到word2vec.c文件中修改此值)

475630606个words, vocab 大小为1598580,大概花费25分钟。

运行结果并测试效果如下:

  1. [root@linux-237 word2vec42]# bash demo-word.sh    
  2. make: Nothing to be done for `all’.   
  3. Starting training using file stackText.txt   
  4. Vocab size: 1598580   
  5. Words in train file: 475630606   
  6. Alpha: 0.000263  Progress: 99.47%  Words/thread/sec: 541.23k     
  7. real    25m39.774s   
  8. user    221m57.108s   
  9. sys     0m49.199s   
  10. Enter word or sentence (EXIT to break): java   
  11.   
  12. Word: java  Position in vocabulary: 454   
  13.   
  14.                                               Word       Cosine distance   
  15. ————————————————————————   
  16.                                               Java              0.804742   
  17.                                              java,              0.780371   
  18.                                              java.              0.775374   
  19.                                               JAVA              0.743753   
  20.                                              Java.              0.683836   
  21.                                              swing              0.674023   
  22.                                            android              0.672503   
  23.                                                c++              0.668149   
  24.                                                 c#              0.644594   
  25.                                             python              0.643520   
  26.                                            eclipse              0.643359   
  27.                                              Java,              0.637573   
  28.                                              java?              0.630209   
  29.                                                jar              0.628616   
  30.                                             groovy              0.627132   
  31.                                              scala              0.611233   
  32.                                            servlet              0.610064   
  33.                                             applet              0.608627   
  34.                                                php              0.608549   
  35.                                                  i              0.600868   
  36.                                                 my              0.599664   
  37.                                                jsp              0.598296   
  38.                                               ruby              0.597236   
  39.                                           netbeans              0.595057   
  40.                                                  a              0.595011   
  41.                                              write              0.594350   
  42.                                            program              0.593679   
  43.                                                jdk              0.593030   
  44.                                               j2me              0.587537   
  45.                                              which              0.585925   
  46.                                                 to              0.585683   
  47.                                              using              0.580617   
  48.                                               that              0.579790   
  49.                                            written              0.579572   
  50.                                               some              0.579534   
  51.                                           android,              0.577219   
  52.                                                and              0.575742   
  53.                                               .net              0.575061   
  54.                                                web              0.574278   
  55.                                              linux              0.573493   
  56. Enter word or sentence (EXIT to break): html   
  57.   
  58. Word: html  Position in vocabulary: 394   
  59.   
  60.                                               Word       Cosine distance   
  61. ————————————————————————   
  62.                                               HTML              0.853783   
  63.                                              html.              0.836931   
  64.                                              html,              0.795768   
  65.                                         javascript              0.763503   
  66.                                              HTML.              0.721012   
  67.                                                 js              0.715835   
  68.                                            webpage              0.711215   
  69.                                              HTML,              0.700154   
  70.                                            content              0.694945   
  71.                                             markup              0.691843   
  72.                                               Html              0.686390   
  73.                                                css              0.683201   
  74.                                               tags              0.676316   
  75.                                        javascript,              0.676179   
  76.                                              xhtml              0.674844   
  77.                                        javascript.              0.674052   
  78.                                                php              0.673596   
  79.                                               text              0.673089   
  80.                                               page              0.663661   
  81.                                                xml              0.662498   
  82.                                             iframe              0.661740   
  83.                                             jquery              0.652209   
  84.                                                tag              0.651575   
  85.                                           webpage,              0.647792   
  86.                                           content,              0.644945   
  87.                                              .html              0.641437   
  88.                                               aspx              0.638099   
  89.                                               ajax              0.637875   
  90.                                              html?              0.633876   
  91.                                                jsp              0.631024   
  92.                                              tags,              0.624686   
  93.                                           textarea              0.624658   
  94.                                           webpage.              0.624080   
  95.                                                pdf              0.622019   
  96.                                              page,              0.620723   
  97.                                           contents              0.617092   
  98.                                                 JS              0.615214   
  99.                                              text,              0.613630   
  100.                                               form              0.613238   
  101.                                               css.              0.612103   
  102. Enter word or sentence (EXIT to break): android   
  103.   
  104. Word: android  Position in vocabulary: 495   
  105.   
  106.                                               Word       Cosine distance   
  107. ————————————————————————   
  108.                                            Android              0.857668   
  109.                                           android.              0.814769   
  110.                                           android,              0.810972   
  111.                                             iphone              0.744005   
  112.                                         blackberry              0.719089   
  113.                                           Android.              0.718010   
  114.                                           androids              0.693840   
  115.                                           Android,              0.687129   
  116.                                           emulator              0.680624   
  117.                                               java              0.672503   
  118.                                           android?              0.664975   
  119.                                             phone.              0.661444   
  120.                                         Blackberry              0.658390   
  121.                                            andriod              0.653750   
  122.                                          android’s              0.648015   
  123.                                           phonegap              0.641884   
  124.                                          emulator.              0.640713   
  125.                                             iPhone              0.639118   
  126.                                                ios              0.639108   
  127.                                             tablet              0.636023   
  128.                                             Iphone              0.635636   
  129.                                               j2me              0.632937   
  130.                                              phone              0.630827   
  131.                                             mobile              0.624277   
  132.                                             device              0.621280   
  133.                                                apk              0.619061   
  134.                                             phone,              0.611067   
  135.                                                ICS              0.610646   
  136.                                             adroid              0.606088   
  137.                                          emulator,              0.604733   
  138.                                           activity              0.603200   
  139.                                                2.2              0.602148   
  140.                                            eclipse              0.599507   
  141.                                          Honeycomb              0.597581   
  142.                                            device.              0.597449   
  143.                                                IOS              0.597157   
  144.                                          honeycomb              0.596399   
  145.                                            iphone.              0.595373   
  146.                                                sdk              0.592870   
  147.                                                iOS              0.591931  

参考:https://groups.google.com/forum/#!topic/word2vec-toolkit/lxbl_MB29Ic  Tomas Mikolov 用了9个小时进行训练WIKI数据。

./word2vec -train train100B.txt -read-vocab voc -output vectors.bin -cbow 1 -size 300 -window 5 -negative 3 -hs 0 -sample 1e-5 -threads 12 -binary 1 -min-count 10

除了上面的语料,Tomas Mikolov,在他的word2vec主页上还提供了WIKI语料的链接,以及XML文件预处理的批文件。
使用方式为:perl wikifil.pl enwik9 > text  (下载地址:http://mattmahoney.net/dc/textdata.html)

有人问道:embedding作为将词映射为一个向量作为输入层,词向量应该要有更新才对,但是作为第一层的输入层本应该是不变的。这样分析是否矛盾?

我的回答:确实大家都说采用词向量做为DNN的输入,但是并非第一层输入。可以换个角度看,第一层应该是one-hot词特征,通过乘以一个权重矩阵W(即词向量矩阵)得到词向量化表示。这样看的话,词向量矩阵只是一个权重参数,在模型训练阶段是可以更新的。从记忆的角度来看,神经网络连接的权值更新都是长时记忆,因而词向量的学习可以认为是一种长时学习。

word2vec使用说明》上有 3 条评论

  1. 请问您训练word2vector时用的语料和选择的维度分别是多大?我训练出来的结果相似最高的许多都是相邻词,我为了减小规模用的是中文的字语料,维度是60维,语料1.6G,出来排在前面的相似结果,比如“飞”和“机”、”我”和“是”之类的。

    • 一般语料大于1G差不多,50维左右。字向量的效果应该没有词向量的效果明显,可以设置低频阈值减少规模

  2. Pingback 引用通告: word2vec中文相似词计算和聚类的使用说明及c语言源码 – Eastmount的专栏 – 博客频道 – CSDN.NET_其他杂项_【方法SEO顾问】

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

*

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>