content
{:toc}
实验目的
（1）结合Caffe平台，进一步掌握Caffe的使用流程；
（2）进一步理解Caffe卷积神经网络定义和优化思想；
（3）学会使用prototxt定义卷积神经网络和优化方法；
（4）能看懂卷积神经网络的关键代码；
（5）能独立完成卷积神经网络和优化自定义；
（6）运行自己的数据，解决自己在实践或科研过程中要解决的计算机视觉问题。

实验需求

硬件准备：GPU（若使用GPU模式），此选项可选择
软件准备：Caffe
数据准备：自己要识别的数据集
实验内容
使用Caffe自定义网络结构和优化方案，识别分类自己的数据集。
实验过程
准备数据
在网上找大巴车、恐龙、大象、鲜花和马五个图像数据集，编号分别以3,4,5,6,7开头，每个种类100张，其中80张作为训练集，20张作为测试集。因此最终训练图片400张，测试图片100张。
创建目录
训练集目录：/home/joczu/caffe-master/data/re/train
测试集目录：/home/joczu/caffe-master/data/re/val
sh文件目录：/home/joczu/caffe-master/examples/myfile
预处理（生成标签）
编写create_filelist.sh文件，使用
```
find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MY/train.txt
```
把每个图片的名称和上级目录名给截取出来，并分别以开头数字3,4,5,6,7作为一个种类的标签。
```
/usr/bin/env sh
DATA1=”/home/joczu/caffe-master/data/re”
DATA2=”/home/joczu/caffe-master/data/re/train/cat”
DATA3=”/home/joczu/caffe-master/data/re/train/dog”
DATA4=”/home/joczu/caffe-master/data/re/val”
```

echo “Create train.txt…”

rm -rf $DATA1/train.txt
rm -rf $DATA1/val.txt

cat $DATA1/tmp.txt>>$DATA1/train.txt
cat $DATA1/tmp_val.txt>>$DATA1/val.txt
rm -rf $DATA1/tmp.txt
rm -rf $DATA1/tmp_val.txt

echo “Done..”
</code></pre>

转换lmdb数据格式

编写creat_lmdb.sh文件，首先转换图片大小，像素均变化成256X256，再调用build/tools/convert_imageset转换图片的数据格式，生成img_test_lmdb和img_train_lmdb文件

!/usr/bin/env sh

MY=examples/myfile

echo “Creating train lmdb…”
rm -rf $MY/img_train_lmdb
build/tools/convert_imageset \
—shuffle \
—resize_height=256 \
—resize_width=256 \

/data/re/train \

$MY/train.txt \
$MY/img_train_lmdb
echo “Done.”

echo “Creating test lmdb..”
rm -rf $MY/img_test_lmdb
build/tools/convert_imageset \
—shuffle \
—resize_width=256 \
—resize_height=256 \

/data/re/val \

$MY/val.txt \
$MY/img_test_lmdb
echo “All Done.”
</code></pre>
到此数据的预处理完成。

生成均值文件

图片减去均值再训练，会提高训练速度和精度。因此，一般都会有这个操作。
caffe程序提供了一个计算均值的文件compute_image_mean.cpp，我们直接使用就可以了。
compute_image_mean带两个参数，第一个参数是lmdb训练数据位置，第二个参数设定均值文件的名字及保存路径。运行成功后，会在 examples/myfile/ 下面生成一个mean.binaryproto的均值文件。

创建训练模型

模型就用程序自带的caffenet模型，位置在 models/bvlc_reference_caffenet/文件夹下,
将需要的两个配置文件，复制到myfile文件夹内，
修改其中的solver.prototxt


net: "examples/myfile/train_val.prototxt"
test_iter: 2
test_interval: 50
base_lr: 0.001
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 20
max_iter: 200
momentum: 0.9
weight_decay: 0.005
solver_mode: CPU
snapshot: 200
snapshot_prefix: "examples/myfile/myfile"

100个测试数据，batch_size为50，因此test_iter设置为2，就能全cover了。在训练过程中，调整学习率，逐步变小。
相关参数解释：
_net: “examples/myfile/train_val.prototxt” 网络模型的路径。注意的是：文件的路径要从caffe的根目录开始，其它的所有配置都是这样
test_iter: 2 这个要结合layer理解，表示两层；
test_interval: 50 测试间隔。也就是每训练50次，才进行一次测试
base_lr: 0.001 base_lr用于设置基础学习率，在迭代的过程中，可以对基础学习率进行调整。怎么样进行调整，就是调整的策略，由lr_policy来设置
lr_policy: “step” 如果设置为step,则还需要设置一个stepsize, 返回 base_lr * gamma ^ (floor(iter / stepsize)),其中iter表示当前的迭代次数
gamma: 0.1 上一次梯度更新的权重
stepsize: 100
display: 20 每训练２0次，在屏幕上显示一次。如果设置为0，则不显示
max_iter: 200 最大迭代次数。这个数设置太小，会导致没有收敛，精确度很低。设置太大，会导致震荡，浪费时间
momentum: 0.9 上一次梯度更新的权重
weight_decay: 0.005 权重衰减项，防止过拟合的一个参数
solver_mode: CPU 设置运行模式。默认为GPU,如果你没有GPU,则需要改成CPU，否则会出错
snapshot: 200
snapshot_prefix: “examples/myfile/myfile”_
修改train_val.protxt，只需要修改两个阶段的data层的文件目录


name: "CaffeNet"
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 227
    mean_file: "data/re/imagenet_mean.binaryproto"
  }
  data_param {
    source: "examples/myfile/imagenet_train_leveldb"
    batch_size: 256
    backend: LMDB
  }
}
layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mirror: false
    crop_size: 227
    mean_file: "data/re/imagenet_mean.binaryproto"
  }
  data_param {
    source: "examples/myfile/imagenet_val_leveldb"
    batch_size: 20
    backend: LMDB
  }
}

开始训练

在caffe根目录下输入以下命令

build/tools/caffe train -solver examples/myfile/solver.prototxt

接下来就是等待训练完成，训练时间大约需要1.5小时

训练到此完成，从结果可以看出训练精度为92％

生成许多中间文件。

实验问题及解决方法

（1）本次实验很大的问题就是路径问题，有的地方在使用相对路径的时候需要在caffe-master目录下运行sh文件；
（2）注意训练集、测试集、sh文件放置的相应位置，以免出现不可名状的错误；
（3）注意设置solver.protptxt及train_val.prototxt文件的参数设置，需根据自己的训练集和测试集进行匹配。

实验目的

实验需求

实验内容

实验过程

准备数据

创建目录

预处理（生成标签）

/usr/bin/env sh