Quality-Estimation1
机器翻译子任务-翻译质量评价-复现 WMT2018 阿里论文结果
简介
翻译质量评价（Quality Estimation,QE）是机器翻译领域中的一个子任务，大致可分为 Sentence-level QE，Word-level QE，Phrase-level QE，详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html 。 本项目针对 Sentence-level QE，试图复现论文 “Bilingual Expert” Can Find Translation Errors 的实验结果。 上述论文的开源代码如下：https://github.com/lovecambi/qebrain ，本人受服务器驱动限制，装不了高版本的tensorflow， 基于transformer开源代码 https://github.com/Kyubyong/transformer 重写了论文中的专家模型和qe模型。 由于 wmt18-qe 的测试集标签没有公布，本项目仅在 wmt17-qe 数据集上进行实验。
实验环境
python3
tensorflow == 1.2.0
实验步骤
1、准备数据
用于训练专家模型的数据,其数据来源是 WMT17 Translation task、WMT17 qe task中sentence-level task中训练集的数据（src+pe）。数据统计信息见下表:
| Dataset | Sentences |
|---|---|
| Europarl v7 | 1,920,209 |
| Common Crawl corpus | 2,399,123 |
| News Commentary v12 | 268,328 |
| Rapid corpus of EU press releases | 1,314,689 |
| UFAL Medical Corpus | 2,660,314 |
| Khresmoi development data | 500 |
| Sentence-level QE en-de smt | 23,000 |
| Sentence-level QE de-en smt | 25,000 |
| total | 8,611,163 |
| filter | 8,449,133 |
注：过滤后的数据总量为8,449,133
2、数据预处理
tokenize(./preprocess/token.sh);
lower(./preprocess/lower.sh);
filter(./preprocess/data_filter_merge.ipynb, we filtered the source and target sentence with length <= 70 and the length ratio between 1/3 to 3);
merge(./preprocess/data_filter_merge.ipynb，将所有数据集按照语言分别合并);
3、词表生成
分别生成源端和目标端的词表，生成后的词表按照词频排序，代码见：./prepro.py，运行代码前要先设置词表大小;
4、预训练专家模型
设置exp_hyperparams.py中的参数，运行expert_model.py;
5、联合训练专家模型和qe模型
设置qe_hyperparams.py中的参数，运行qe_model.py;
使用 Sentence-level QE en-de smt 训练en-de模型，使用 Sentence-level QE de-en smt 训练de-en模型;
实验结果
| Data | Pearson’s | vocab_size | batch | steps |
|---|---|---|---|---|
| test 2017 en-de | 0.5974 | 30k | 128 | 500k |
| state of the art(Single) | 0.6837 | 120k | - | - |
| test 2017 de-en | 0.6745 | 30k | 128 | 410k |
| state of the art(Single) | 0.7099 | 120k | - | - |
注：
1、state of the art 参考论文：“Bilingual Expert” Can Find Translation Errors ；
2、表中的batch和steps都是说的训练专家模型的情况，steps指训练了多少步（每一步是一个batch）；
3、从我的观察来看，基本上是专家模型被训练的steps越多，后续再联合训练qe模型而得到的结果就越好，但是随着专家模型被训练步数的不断增多（比如达到350k以上），最终的结果会出现波动；
4、训练专家模型和联合训练qe模型的日志文件都放在了 ./nohup 文件夹下；