基于Theano的DNN框架Blocks使用简要总结

Blocks官方代码地址:https://github.com/mila-udem/blocks

Blocks是加拿大Montreal大学Bengio实验室牵头开发的基于Python的神经网络模型框架,可方便地在大规模数据上进行复杂神经网络模型的训练。它包含有很多外置工具包如,logging, monitoring, visualization, and serialization,而Fuel则提供了数据格式的标准化。

Fuel官方代码地址:https://github.com/mila-udem/fuel

由于Blocks仍在进一步开发中,以下说明中遇到的错误可能已被修复,因而只可作为参考[注:当前时间2016/03/01]。

1. 安装Blocks和Fuel:
安装git,git的安装和使用可参考[Bitbucket-团队开发私有库使用指南, http://jacoxu.com/?p=1611]
接下来安装blocks,由于需要通过github下载,进入git bash,输入:
pip install git+git://github.com/mila-udem/blocks.git \
-r https://raw.githubusercontent.com/mila-udem/blocks/master/requirements.txt
注:a). 实际运行中,可修改一下requirements.txt文件中所定义的库,如numpy等在安装ANACOND的时候都已经安装,那么可以删除掉requirements.txt文件中对应依赖行。
b). 若执行过程中有错误可能会导致blocks没有正常安装,则需要重新执行一下
pip install git+git://github.com/mila-udem/blocks.git
若安装成功则在c:\anaconda2\lib\site-packages 目录下可以看到和blocks及fuel相关的4个文件夹,并且在在python模式下执行如下两行命令,不报错即可:
from blocks.bricks import Tanh
from fuel.datasets import MNIST
说明Blocks和Fuel已经可以正常调用。

2. 利用Fuel下载数据集
Fuel工具提供了数据格式的转换,示例代码中提供了几种常用的公开数据集进行下载,包括:
iris, caltech101_silhouettes, svhn, cifar10, binarized_mnist, adult, cifar100, mnist 八种,需要自己利用工具进行下载
首先需要配置数据存储路径,配置示例如:
# ~/.fuelrc
data_path: “d:/jacoxu/casia/data”

$ export FUEL_DATA_PATH=” d:/jacoxu/casia/data”

进入该路径进行下载和格式转换,具体操作见官方文档说明:

https://fuel.readthedocs.org/en/latest/built_in_datasets.html

数据路径及格式配置正常后可以通过fuel进行加载,如:
>>> from fuel.datasets import MNIST
>>> mnist = MNIST((“train”,))

3. 示例演示-Machine Translation
路径:https://github.com/mila-udem/blocks-examples/tree/master/machine_translation
功能:带Attention的Machine Translation示例代码
主函数:__main__.py
数据集:WMT15 Czech to English corpus

3.1 准备数据集:
执行示例程序之前,需要先下载数据集,可很方便地运行prepare_data.py文件即可,主要包括119M的训练数据,20.4M的开发集数据及Moses的预处理脚本和Bleu计算脚本,并将下载后的数据处理好。其中本示例实际只使用了WMT15数据中的Czech to English的数据对,那么训练语料为41.4M,开发集语料为668KB。
然而数据下载好进行预处理时遇到如下错误:
INFO:prepare_data:…writing tokenized file [./data\news-commentary-v10.cs-en.cs.tok]
Traceback (most recent call last):
File “prepare_data.py”, line 257, in
main()
File “prepare_data.py”, line 241, in main
tokenize_text_files(tr_files + val_files, tokenizer_file)
File “prepare_data.py”, line 121, in tokenize_text_files
var, stdin=inp, stdout=out, shell=False)
File “C:\Anaconda2\lib\subprocess.py”, line 535, in check_call
retcode = call(*popenargs, **kwargs)
File “C:\Anaconda2\lib\subprocess.py”, line 522, in call
return Popen(*popenargs, **kwargs).wait()
File “C:\Anaconda2\lib\subprocess.py”, line 710, in __init__
errread, errwrite)
File “C:\Anaconda2\lib\subprocess.py”, line 958, in _execute_child
startupinfo)
WindowsError: [Error 2]

最后发现问题的原因在于虽然MINGW64环境中有Perl,但是由于Windows环境下缺少Perl,因而在Pycharm下进行运行时报错。因而,Linux用户应该不会遇到此问题,另Windows用户安装一下Perl也就可以在IDE下调试了。可安装ActiveState Perl社区免费版http://www.activestate.com/activeperl/downloads,[重启电脑]。不过由于数据处理中还调用了Linux的shuf命令,因而还是建议Windows用户直接在MINGW64环境中执行preprare_data.py处理数据。

注:Bleu的perl脚本使用方法见:http://www.statmt.org/moses/?n=Moses.SupportTools
Perl multi-bleu.perl ref.txt, ref1.txt, ref2.txt < out.txt
且,Bleu计算时需要最后一行空行,可以采用下面的数据验证一下,例如:
Ref.txt共4行分别为 1\n2\n3\n4\5\n6,out.txt为1\n2\n\3\n3\n2\n1通过bleu计算得到共5行,bleu为60%
而添加了空行之后即分别为1\n2\n3\n4\5\6\n,out.txt为1\n2\n\3\n3\n2\n1\n,得到共6行,bleu为50%
3.2 调试Machine_Translation
1). 函数入口:__main__.py
功能:进行配置,调用Fuel接口加载数据
任务:a). 需要详细理解stream类,知道数据格式细节;
2). 主函数:__init__.py
功能:搭建模型并调用Blocks进行训练
3). Main Loop:main_loop.py
功能:进行模型训练
注意:a). self.algorithm.initialize() 消耗时间好长

Bug 1. Should be cPickle.load(open(src_vocab, ‘rb’) to avoid EOFError
In blocks-examples/machine_translation/stream.py. I got a EOFError, and found the cause is that:
All cPickle.load(open(src_vocab) and cPickle.load(open(trg_vocab)) should be updated to cPickle.load(open(src_vocab, ‘rb’) and cPickle.load(open(trg_vocab, ‘rb’)) to avoid EOFError.
Bug 2. 修改./blocks/search.py中BeamSearch.compile()._compile_next_state_computer()
其中的
self.next_state_computer = function(
self.contexts + self.input_states + next_outputs, next_states)
改为:
self.contexts + self.input_states + next_outputs, next_states, on_unused_input=’warn’)
Google论坛上有对此问题的讨论和解释:
https://groups.google.com/d/msg/blocks-users/94qKmXzvz0Q/2RwUZYp0t-sJ

其他可能会遇到的问题:
1) 数据在每个Epcoh训练之前有没有进行随机化?
2) 测试阶段如何通过模型参数进行预测?
有两种方式,分别是:
a). sampling: /machine_translation/sampling.py L55 model.get_theano_function()
b). Bleu: /blocks/search.py BeamSearch.search()

博文出处:http://jacoxu.com/?p=1828

发表评论

电子邮件地址不会被公开。 必填项已用 * 标注

*

您可以使用这些 HTML 标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>