Pycaffe实践 1）分类：性别识别

暖宝宝j 2017-08-30

展开全文

问题提出
给你一张人像图片，让你分辨照片中的人是男人还是女人（暂时不考虑其他情况）。对人来说，这是个比较简单的任务，但是对于机器来说，却不是那么简单。本文主要介绍如何使用深度学习的方法来辨别男女。同时，通过对这个例子的讲解，了解caffe的Python接口如何进行分类。

网络的创建
本文使用的CNN网络及模型来自于这里。首先我们将创建网络，并使用测试图片测试这个网络的效果。

首先我假设，你已经安装了caffe框架及对应的Python接口，并安装了matplotlib，如果没有，请先自行安装，网络有各种教程。

第一步是设置Python，numpy和matplotlib，代码如下：

  import numpy as np
  import matplotlib.pyplot as plt


  plt.rcParams['figure.figsize'] = (10,10)
  plt.rcParams['image.interpolation'] = 'nearest'
  plt.rcParams['image.cmap'] = 'gray'

第二步加载caffe，代码如下：

  import sys
  caffe_root = '../caffe/'  #根据自己的目录设置
  sys.path.insert(0, caffe_root+'python')
  import caffe

第三步是建立网络，代码如下：

  #使用gpu进行计算
  caffe.set_device(0)
  caffe.set_mode_gpu()
  model_def = 'deploy_gender.prototxt'
  model_weights = 'gender_net.caffemodel'

  #建立网络
  net = caffe.Net(model_def, model_weights, caffe.TEST)

第四步是读入测试图片，主要包括对图片的预处理，代码如下：

mean_filename = './mean.binaryproto'
proto_data = open(mean_filename, 'r').read()
a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)
mean = caffe.io.blobproto_to_array(a)[0].mean(1).mean(1)

#预处理，将图像由范围为[0,1]的rgb图像转化为范围为[0,255]的bgr，然后再减去平均值
transformer = caffe.io.Transformer({'data':net.blobs['data'].data.shape})

transformer.set_transpose('data', (2,0,1))  #把通道维度移到最外面
transformer.set_mean('data', mean)
transformer.set_raw_scale('data', 255);
transformer.set_channel_swap('data', (2,1,0)) #swap channels from RGB to BGR

net.blobs['data'].reshape(1,3,227,227)

#读入图片
image = caffe.io.load_image('./lh3.jpg')
transformed_image = transformer.preprocess('data', image)
net.blobs['data'].data[...] = transformed_image

最后一步，将数据输入到网络，进行分类，代码如下：

#分类并输出结果
labels = ['男性','女性']
output = net.forward()
output_prob = output['prob'][0]
print output_prob
print labels[output_prob.argmax()]

下面是一些测试结果：

0.926的概率为女性

0.999为女性

0.997为男性

0.998为男性

总的来说，这个模型的分类还是非常准的。但是对一些男扮女装难以识别。

0.95为女性

查看网络
我们已知知道如何使用这个网络及已训练的模型来进行性别识别，虽然还有点瑕疵，但是基本上符合我们的要求了。接下来，让我们来学习如何查看这个网络的结构：

for layer_name, blob in net.blobs.iteritems():
    print layer_name+'\t'+str(blob.data.shape)

输出的结果为：

可以看出，这个网络非常简单，只由三个卷基层和三个全连接层构成。除了可以查看各层的网络结构，我们还能查看各层参数矩阵的结构：

第二列是权重参数，第三列是偏置值。

查看中间生成的feature map/过滤器

我们已经知道如何查看网络及参数的接口，下面我们来看看在网络动态的分类过程中，feature map/过滤器的变化。帮助函数的代码如下：

def showimage(im):
if im.ndim == 3:
    im = im[:, :, ::-1]
plt.set_cmap('jet')
plt.imshow(im)
plt.axis('off')
plt.show()


def vis_square(data, padsize=1, padval=0):
    data -= data.min()
    data /= data.max()

    # force the number of filters to be square
    n = int(np.ceil(np.sqrt(data.shape[0])))
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))

    # tile the filters into an image
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])

    showimage(data)

调用的代码如下：

#feature map
feat = net.blobs['conv1'].data[0,:49]
vis_square(feat, padval=1)

#filters
filters = net.params['conv1'][0].data
vis_square(filters.transpose(0,2,3,1))

下图是第一张图conv1的feature map。