Quality-Estimation2
机器翻译子任务-翻译质量评价-在BERT模型后面加上Bi-LSTM进行fine-tuning
简介
翻译质量评价（Quality Estimation,QE）是机器翻译领域中的一个子任务，大致可分为 Sentence-level QE，Word-level QE，Phrase-level QE，详情可参考WMT(workshop machine translation)比赛官网 http://www.statmt.org/wmt17/quality-estimation-task.html 。本项目针对 Sentence-level QE，在BERT模型后面加上Bi-LSTM进行fine-tuning，代码参考了 https://github.com/huggingface/pytorch-pretrained-BERT 。 由于 wmt18-qe 的测试集标签没有公布，本项目仅在 wmt17-qe 数据集上进行实验。
实验需要的包
PyTorch 0.4.1/1.0.0;
python3;
实验步骤
1、准备数据，下载17年wmt sentence level的数据，将数据放置在 ./examples/QE 文件夹下，数据文件示例见QE文件夹;
2、下载bert预训练模型，放到 ./pretrain-models 文件夹并解压，这里用到的预训练模型是：BERT-Base, Multilingual Cased (New, recommended): 104 languages, 12-layer, 768-hidden, 12-heads, 110M parameters，
可以到这里下载：https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased.tar.gz ;
3、运行run_qe.sh进行fine-tuning;
实验结果
本人使用pytorch版本的bert进行fine-tuning，但是实验结果很不好，en_de_pearson只能到0.3，训练过程的loss曲线一直震荡(图1)，到目前为止还没有找到原因（求大佬解答）。下面表格中的实验结果是用朋友的代码（基于tensorflow版本的bert）跑出的结果，供大家参考。
| Data | Pearson’s | MAE | RMSE | Spearman’s |
|---|---|---|---|---|
| test 2017 en-de | 0.6791 | 0.1036 | 0.1517 | 0.7103 |
| state of the art(Single) | 0.6837 | 0.1001 | 0.1441 | 0.7091 |
| test 2017 de-en | 0.7239 | 0.0834 | 0.1392 | 0.6869 |
| state of the art(Single) | 0.7099 | 0.0927 | 0.1394 | 0.6424 |
注：state of the art 参考论文：“Bilingual Expert” Can Find Translation Errors ;
图1 基于pytorch-bert进行fine-tuning的loss输出