Preface
下面是我对这篇 Reading Text in the Wild with Convolutional Neural Networks 文章, 对于前半部分：文字定位检测部分的复现大致流程。
用的数据集是 ICDAR 2011: http://robustreading.opendfki.de/trac/wiki/SceneText ，不少人都说 ICDAR 2011 数据集下载不了，我在这里上传一份我自己备份的：ICDAR 2011
需要指出的是，一方面因为做个实验与示例，且数据集小，做的结果比较粗糙。希望大家包含一下，因为不少同学跟我私信要代码，我在这里贴出来。希望得到大神的建议，帮助完善。
整理后的过程文件都在 reading text in the wild 中。
edge_boxes_with_python 文件夹，存放 Edge Boxes 、Random Forest 的代码，还有一些中间保存的变量结果。
Bounding_Box_Reg 是存放最后回归的文件夹。训练数据的生成、网络的定义都在里面。
Output 文件夹存放中间输出的图像，即将 Bounding Boxes 画在原图上的结果。
**注意：**下面有些数学公式，Github 上不支持，您下载下来，用支持数学公式的 Markdown 编辑器打开即可。
Edge Boxes
Overview
这部分的方法出自 Paper: Edge boxes: Locating object proposals from edges。
先计算 edge response，用 Structured Edge detector 检测算法。
同时，使用了 Paper: Fast Edge Detection Using Structured Forests 介绍的 single-scale 变量来减少运行时间。
在得到 edge response 之后，我们进行一个 非极大值抑制（Non-Maximal Suppression, NMS）。
结果为 稀疏的边缘图（sparse edge map），每个像素 $p$ 有一个边缘模 $m_p$，以及方向 $\Theta_p$。当像素地模 $m_p > 0.1$ 的时候，就定义为 edges。
还有个概念，所谓的 contour ，定义为一系列的 edges 所形成的连贯的边界线、曲线或者直线。
Implement
这部分程序的实现，用 Python 调用了 Dollor 的 Matlab 源码：Structured Edge Detection Toolbox
程序入口为：edge_boxes.py 。
该文件里面，def get_windows(image_fnames, cmd='edge_boxes_wrapper') 为调用 Matlab 源码函数。
先粗的检测过之后，需要进行 非极大值抑制（Non-Maximum Suppression），非极大值抑制函数在 Python 文件：nms.py 中。
之后，将不进行非极大值抑制与进行极大值抑制过后的 Boxes ，通过 pickle 模块分别保存到 boxes_edgeBoxes_without_NMS.pkl、 boxes_edgeBoxes_with_NMS.pkl 文件中，以供后面使用。
同时，我将这些 Boxes 在图像上画出来，保存在 ./Output/edge_boxes_with_NMS，以及./edge_boxes_without_NMS 中。
再之后，我写了一个名为 calRecall.py 的文件，用来计算 Recall，以及将 $IoU$ 小于 $0.5$ 的 Boxes 去除掉。将结果同样用 pickle 保存，生成文件名称为 boxes_IOU_gt05_withoutNMS.pkl，以及 boxes_IOU_gt05_withNMS.pkl。
同时，在该文件中，我将每一张图像，其检测出来的每一个 $IoU \gt 0.5$ 的 Bounding Boxes，对应的 Grounding Truth 一一对应保存到 map_gtBox_BBoxes.pkl 当中。因为在最后的 Bounding Boxes Regression 里面，生成数据需要这个。
将这部分处理后的 boxes 画在图上，见文件夹 ./Output/edge_boxes_IOU_gt05。
Aggregate Channel Features Detector
这部分是基于作者 BMVC 2009 年的 Paper: Integral Channel Features，就是将输入的图像进行各种变换处理，得到不同特征的图像。再进行区域求和，再训练分类器。
这部分的代码，我尝试了作者提供的源码：http://pdollar.github.io/toolbox/，在作者发布的 Matlab 工具箱里。
但是，我跑了一个白天，没调通。。。-_-#
之后，我又试了文章里提到的 BING，分别编译了两个版本的源码：
https://github.com/tfzhou/BINGObjectness
https://github.com/bittnt/Objectness
这个程序很快跑通了，但对于南开大学的这篇 BING 我没仔细看。而且研究了一会儿，没明白该怎么组织我这个数据才能跑。
考虑到进度，这部分就放弃了。我跳过这一步，进行下一步。
Word Classification
HOG 特征提取、Random Forest 分类
接着上面的结果，这一部分是对上面经过 Edge Boxes ＋Aggregate Channel Feature 后的进一步处理。目的是去除错误的 bounding box proposals。
思路
文章中进一步过滤 bounding boxes 使用的是 HOG 特征＋Random Forest Classifier。阅读论文后，我的处理过程大致如下：
第一个阶段：训练 Random Forest Classifier
根据数据集给的每张图像文字区域的 ground truth（ txt 文件中给的是 $[X_{min}, Y_{min}, X_{max}, Y_{max}, score]$）。将这些区域提取出来，经过 Resize 的处理，提取出 HOG 特征。
同时，根据论文的方法。还需要加入负样本，我加入了 $300$ 张的负样本。对于这些负样本，同样需要 Resize，再提取 HOG 特征。
正样本给定的标签为 $1$，负样本给定的标签为 $0$。
训练时，基本根据论文中的参数设置，论文中 Resize 的尺寸为 $(32, 100)$，因此最后的特征维数为 $7200$。
$RandomForestClassifier$ 的 n_estimators（即决策树的个数）设置为 $10$，max_depth 最大深度为 $64$。
训练完成后，采用十折交叉验证。
第二个阶段：过滤上一阶段的 Candidate Bounding Boxes
对于每一张图像，其对应的有一些 Candidate Bounding Boxes，将每一个 Bounding Box 对应的图像区域 Crop 出来。Resize 到 $(32, 100)$，进行 HOG 特征提取，将提取的特征用上一个阶段训练好的 Random Forest Classifier 进行 Predict。
如果预测为正样本的概率大于 $0.5$，则保留此 Bounding Box；否则，剔除掉。
经过这个阶段的处理，可以过滤掉一些错检 Boxes。
程序实现
这部分的实现用到了 Python 包： skimage 模块中的 $hog$ 函数：http://scikit-image.org/docs/dev/auto_examples/plot_hog.html
Random Forest Classifier 用到了 Python 中的机器学习库： sickit-learn
这部分的代码在：randomForest.py 中。
这部分也将最后数据做了保存，保存为 boxes_edgeBoxes_RFC.pkl，存储经过 Random Forest Classifier 后的 Boxes。
最后，Python 文件 test_RFC.py，将其在图像上画出。图像最后存储在 ./edge_boxes_with_python/Output/edge_bboxes_with_RFC 文件夹中。
但是！不明白为什么，经过随机森林后的 Box，定位的效果不如上一步（Edge Boxes）中，仅仅做了 Structured Edges Detect，再过滤掉 $IoU \lt 0.5$ 的结果。
我在这里做了很多次的实验，调整参数。但均是如此，我猜想是数据集的原因。
Bounding Box Regression
最后一部分，进行 Bounding Box 的回归。
因为经过上面的步骤，最后剩下的 Bounding Boxes 都是与 Ground Truth 的 $IoU$ 大于 $0.5$ 的。将每一张图像中的 Bounding Boxes Crop 出来。以这个 Bounding Box 的中心为坐标轴，进行 Inflated。文中的 “膨胀” factor 为 2，如果原先的 Bounding Box 的 Top-Left 、Bottom-Right 坐标为 $(x_1,y_1,x_2,y_2)$，那么，inflated 后的坐标为：
$$\left( x_1- \frac{(x_2-x_1)}{4},y_1- \frac{(y_2-y_1)}{4},x_2+ \frac{(x_2-x_1)}{4},y2+ \frac{(y_2-y_1)}{4} \right)$$
当然，还有几种特殊情况，程序里有体现。
在将 inflated 后的区域图像 Crop 出来，Resize 到 $ 32\times100$ 作为训练样本。此时，这部分对应的 Ground Truth 的坐标即作为训练的 Label。损失函数为 $L_2 ＝\sum |g(I_b,\Phi)-q(b_{gt})|_2^2$ 。
网络结构比较简单，程序实现中，我调用 caffe 的 python 接口，见 python 文件：create_net.py：
import os, sys
CAFFE_PATH = '/home/chenxp/caffe/python'
sys.path.append(CAFFE_PATH)
import caffe
from caffe import layers as L
from caffe import params as P
def Bounding_Box_Reg(hdf5, batch_size):
n = caffe.NetSpec()
n.data, n.label = L.HDF5Data(batch_size=batch_size, source=hdf5, ntop=2)
n.conv1 = L.Convolution(n.data, kernel_size=5, num_output=64, pad=2, weight_filler=dict(type='xavier'))
n.relu1 = L.ReLU(n.conv1, in_place=True)
n.pool1 = L.Pooling(n.conv1, kernel_size=2, stride=2, pool=P.Pooling.MAX)
n.conv2 = L.Convolution(n.pool1, kernel_size=5, num_output=128, pad=2, weight_filler=dict(type='xavier'))
n.relu2 = L.ReLU(n.conv2, in_place=True)
n.pool2 = L.Pooling(n.conv2, kernel_size=2, stride=2, pool=P.Pooling.MAX)
n.conv3 = L.Convolution(n.pool2, kernel_size=3, num_output=256, pad=1, weight_filler=dict(type='xavier'))
n.relu3 = L.ReLU(n.conv3, in_place=True)
n.pool3 = L.Pooling(n.conv3, kernel_size=2, stride=2, pool=P.Pooling.MAX)
n.conv4 = L.Convolution(n.pool3, kernel_size=3, num_output=512, pad=1, weight_filler=dict(type='xavier'))
n.relu4 = L.ReLU(n.conv4, in_place=True)
n.pool4 = L.Pooling(n.conv4, kernel_size=2, stride=2, pool=P.Pooling.MAX)
n.ip1 = L.InnerProduct(n.pool4, num_output=4000, weight_filler=dict(type='xavier'))
n.dp1 = L.Dropout(n.ip1, dropout_ratio=0.5)
n.ip2 = L.InnerProduct(n.ip1, num_output=4, weight_filler=dict(type='xavier'))
n.loss = L.EuclideanLoss(n.ip2, n.label)
return n.to_proto()
with open('BBR_train.prototxt', 'w') as f:
f.write(str(Bounding_Box_Reg('train.h5', 16)))
with open('BBR_test.prototxt', 'w') as f:
f.write(str(Bounding_Box_Reg('test.h5', 16)))生成了两个网络结构文件：BBR_train.prototxt、BBR_test.prototxt，再写一个 BBR_solver.prototxt，网络的准备工作完成了。
接下来是这部分最关键的，生成训练数据。这部分程序文件为：BBR_CreateDataset_HDF5.py 。
因为最后的 Ground Truth 的 label 实际上是一个向量，一般使用 Caffe 的 LMDB 数据库组织数据只能是纯量 label。这里，我使用了 HDF5 数据格式文件来组织存放数据级 label。
最后生成了 HDF5 格式的数据，train.h5、test.h5，以及这个数据库的 TXT 路径文件（在 caffe 中直接读取 HDF5 会产生错误）：train.txt、test.txt。
最后这个文件夹Bounding_Box_Reg中，还有两个文件：test_hdf5.py，这是我测试 HDF5 数据的文件，train.py，这是训练网络文件。里面有设置 GPU，Solver 等。
看一轮训练结果：solver.step(1)
还在训练中：
因为是实验，数据集也小，训练参数也有待调试，就没全跑完，就到这吧。