勿满足于眼前的小小成就。你要问自己，我这辈子只有这样吗。
VGGNet 是牛津大学计算机视觉组（ Visual Geometry Group〉和 Google DeepMind公司的研究员一起研发的的深度卷积神经网络。VGGNet探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠3x3的小型卷积核和2x2的晟大池化层，VGGNet成功地
构筑了 16~19层深的卷积神经网络。VGGNet相比之前state-of-the-art的网络结相，错误率大幅下降，并取得了 ILSVRC 比赛分类项目的第2名和定位项目的第1名，同时VGGNct的拓展性很强，迁移到其他图片数据上的泛化性非常好。VGGNet的结构非常简洁，整个网络都使用了同样大小的卷积核尺寸（3x3)和最大池化尺寸（2x2)。到目前为止，VGGNet依然经常被甩来提取图像特征。VGGNel训练后的模型参数在其官方网站上开源了，可用来在domain_specific的图像分类任务上进行再训练（相当于提供了非常好的初始化权重)，因此被用在了很多地方。
作者在对比各级网络时总结了一下观点：
LRN层作用不大越深的网络效果越好1X1的卷积也是很有效的，但是没有3X3的卷积好，大一些的卷积核可以学习更大的空间特征
VGGNet训练时使用了 4块Geforce GTX Titan GPU并行计算，速度比单块GPU快3.75倍，几乎没有太多性能损耗。但是，每个网络耗时2〜3周才可以训练完。因此我们这里不直接使用mageNet数据训练一个VGGNet,而是采用跟AlexNet —样的方式：构
造出VGGNet网络结构，并评测其forward (inference )耗时和backward (training)耗时。
我们要实现的是VGGNet-16,首先需要导入几个常用库
from datetime import datetimeimport mathimport timeimport tensorflow as tf
定义 一个函数用来创建卷积层并把本层的参数存入参数列表。input_op是输入的tensor，name是这一层的名称，kw，kh是卷积核的宽高,n_out是输出通道数，dw,dh是步长的宽高，p是参数列表。使用get_shape()[-1].value获取输入input_op的通道数，然后使用tf.name_scope()设置scope，使用tf.get_variable创建卷积核参数。
使用tf.contrib.layers.xavier_initializer_conv2d()来做参数初始化
接着使用tf.nn.conv2d对input_op进行卷积处理，卷积核即为kernel,步长是dhXdw，padding模式设为SAME。 biases使用tf.constant赋值为0，再使用tf.Variable将其转成可训练的参数。使用tf.nn.bias_add将卷积结果conv与bias相加，再使用tf.nn.rcki对其进行非线性处理得到activation。最后将创建卷积层时用到的参数kernel和biases添加进参数列表P，并将卷积层的输出activation作为函数结果返回。
def conv_op(input_op, name, kh, kw, n_out, dh, dw, p):n_in = input_op.get_shape()[-1].valuewith tf.name_scope(name) as scope:kernel = tf.get_variable(scope + "w", shape=[kh, kw, n_in, n_out], dtype=tf.float32,initializer=tf.contrib.layers.xavier_initializer_conv2d())conv = tf.nn.conv2d(input_op, kernel, (1, dh, dw, 1), padding='SAME')bias_init_val = tf.constant(0.0, shape=[n_out], dtype=tf.float32)biases = tf.Variable(bias_init_val, trainable=True, name='b')z = tf.nn.bias_add(conv, biases)activation = tf.nn.relu(z, name=scope)p += [kernel, biases]return activation
定义全连接层的创建函数fc_op。一样是先获取输入input_op的通道数，然后使用tf.get_variable创建全连捡层的参数，只不过参数的维度只有两个，第一个维度为输入的 通 道 数n_in, 第 二 个维度为输出的通道数n_out,同样，参数初始化方法也使用xavicr_initiaHzei■。这里biases不再初始化为0，而是赋予一个较小的値0.1以避免死亡节点。然后使用tf.nn_rclu_layer对输入变量input_op与kernel做矩阵乘法并加上biases,再做ReLU非线性变换得到activation。最后将这个全连接层用到参数kernel、biases添加到参数P，并将actication作为函数结果返回。
def fc_op(input_op, name, n_out, p):n_in = input_op.get_shape()[-1].valuewith tf.name_scope(name) as scope:kernel = tf.get_variable(scope + 'w', shape=[n_in, n_out], dtype=tf.float32,initializer=tf.contrib.layers.xavier_initializer())biases = tf.Variable(tf.constant(0.1, shape=[n_out], dtype=tf.float32), name='b')activation = tf.nn.relu_layer(input_op, kernel, biases, name=scope)p += [kernel, biases]return activation
定义最大池化层的创建函数mpool_op，直接使用tf.nn.max_pool，输入为input_op，池化尺寸为khXkw，步长为dhXdw,padding模式为SAME。
def mpool_op(input_op, name, kh, kw, dh, dw):return tf.nn.max_pool(input_op, ksize=[1, kh, kw, 1], strides=[1, dh, dw, 1], padding='SAME', name=name)
开始创建VGGNet-16的网络结构，一共分6个部分，前5个部分是卷积网络，最后一段是全连接网络。
前两段卷积网络都是由两个卷积层和一个最大池化层组成。
后三段卷积网络都是由三层卷积网络金和一个最大池化层组成。
这些卷积层的卷积核大小都是3X3，步长都是1X1，输出通道依次递增64,54,128,128,256,256,256,512,512,512,512,512,512
池化层的尺寸和步长都为2X2
在第五段之后将输出结果使用tf.reshape扁平化,连接一个隐含节点数为4096的全连接层，激活函数为ReLU,再连接一个Dropout层，训练时节点保留率为0.5,预测时为0.1
再连接一层和前面一样的全连接和Dropout层
最后连接一个有1000个隐含节点的全连接层，并使用Softmax进行处理得到分类输出概率，用tf.argmax求出输出概率最大的类别
def inference_op(input_op, keep_prob):p = []conv1_1 = conv_op(input_op, name='conv1_1', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)conv1_2 = conv_op(conv1_1, name='conv1_2', kh=3, kw=3, n_out=64, dh=1, dw=1, p=p)pooll = mpool_op(conv1_2, name='pool1', kh=2, kw=2, dw=2, dh=2)conv2_1 = conv_op(pooll, name='conv2_1', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)conv2_2 = conv_op(conv2_1, name='conv2_2', kh=3, kw=3, n_out=128, dh=1, dw=1, p=p)pool2 = mpool_op(conv2_2, name='pool2', kh=2, kw=2, dh=2, dw=2)conv3_1 = conv_op(pool2, name='conv3_1', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)conv3_2 = conv_op(conv3_1, name='conv3_2', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)conv3_3 = conv_op(conv3_2, name='conv3_3', kh=3, kw=3, n_out=256, dh=1, dw=1, p=p)pool3 = mpool_op(conv3_3, name='pool3', kh=2, kw=2, dh=2, dw=2)conv4_1 = conv_op(pool3, name='conv4_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv4_2 = conv_op(conv4_1, name='conv4_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv4_3 = conv_op(conv4_2, name='conv4_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)pool4 = mpool_op(conv4_3, name='pool4', kh=2, kw=2, dh=2, dw=2)conv5_1 = conv_op(pool4, name='conv5_1', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv5_2 = conv_op(conv5_1, name='conv5_2', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)conv5_3 = conv_op(conv5_2, name='conv5_3', kh=3, kw=3, n_out=512, dh=1, dw=1, p=p)pool5 = mpool_op(conv5_3, name='pool5', kh=2, kw=2, dw=2, dh=2)shp = pool5.get_shape()flattened_shape = shp[1].value * shp[2].value * shp[3].valueresh1 = tf.reshape(pool5, [-1, flattened_shape], name='resh1')fc6 = fc_op(resh1, name='fc6', n_out=4096, p=p)fc6_drop = tf.nn.dropout(fc6, keep_prob, name='fc6_drop')fc7 = fc_op(fc6_drop, name='fc7', n_out=4096, p=p)fc7_drop = tf.nn.dropout(fc7, keep_prob, name='fc7_drop')fc8 = fc_op(fc7_drop, name='fc8', n_out=1000, p=p)softmax = tf.nn.softmax(fc8)predictions = tf.argmax(softmax, 1)return predictions, softmax, fc8, p
定义评测函数，大体上和上一篇文章讲的相似，区别在于在session.run()中引入了feed_dict，方便后面传入keep_prob来控制Dropout层的保留比率。
def time_tensorflow_run(session, target, feed, info_string):num_steps_burn_in = 10total_duration = 0.0total_duration_squared = 0.0for i in range(num_batches + num_steps_burn_in):start_time = time.time()_ = session.run(target, feed_dict=feed)duration = time.time() - start_timeif i >= num_steps_burn_in:if not i % 10:print('%s: step %d,duration= %.3f' % (datetime.now(), i - num_steps_burn_in, duration))total_duration += durationtotal_duration_squared += duration * durationmn = total_duration / num_batchesvr = total_duration_squared / num_batches - mn * mnsd = math.sqrt(vr)print('%s: %s across %d steps, %.3f +/- %.3f sec/batch' % (datetime.now(), info_string, num_batches, mn, sd))def run_benchmark():with tf.Graph().as_default():image_size = 224images = tf.Variable(tf.random_normal([batch_size, image_size, image_size, 3], dtype=tf.float32, stddev=1e-1))keep_prob = tf.placeholder(tf.float32)predictions, softmax, fc8, p = inference_op(images, keep_prob)init = tf.global_variables_initializer()sess = tf.Session()sess.run(init)time_tensorflow_run(sess, predictions, {keep_prob: 1.0}, 'Forward')objective = tf.nn.l2_loss(fc8)grad = tf.gradients(objective, p)time_tensorflow_run(sess, grad, {keep_prob: 0.5}, 'Forward-backward')
开始训练
batch_size = 32num_batches = 100run_benchmark()
你跑出来的结果大概是这样子的，因为我电脑上的GPU不支持GPU加速所以只能使用CPU跑，很慢。如果你想要训练图片分类模型可以将里面随机生成的图片数据换成数据集
-12-12 19:00:13.613267: step 0,duration= 12.318-12-12 19:02:24.378325: step 10,duration= 11.982-12-12 19:04:16.319532: step 20,duration= 11.173-12-12 19:06:10.084819: step 30,duration= 11.261-12-12 19:08:08.133246: step 40,duration= 12.033-12-12 19:10:03.608293: step 50,duration= 11.531-12-12 19:11:59.739291: step 60,duration= 11.599-12-12 19:14:00.238291: step 70,duration= 12.148-12-12 19:15:59.480806: step 80,duration= 12.508-12-12 19:18:07.685465: step 90,duration= 11.691-12-12 19:19:54.632671: Forward across 100 steps, 11.933 +/- 0.882 sec/batch-12-12 19:26:44.429814: step 0,duration= 37.432-12-12 19:32:56.634669: step 10,duration= 36.793
