一.TensorFlow

使用深度学习框架TensorFlow。
目标：

1.了解TensorFlow的基本用法；
2.学习使用TensorFlow构建全连接的神经网络，实现手写数字识别，
3.学习使用TensorFlow构建CNN网络，实现手写数字识别程序，
4.比较两种网络结构的识别精度，以进一步了解深度学习和TensorFlow。

1.1 内容介绍

TensorFlow是一个开源软件库，使用数据流图进行数值计算。

（Operation）表示图中的数学的运算，而图中的边表示节点之间互连的多维数据数组，即张量。
Tensorflow作为最流行的深度学习框架之一，具有非常好的性能和强大的功能。它广泛应用于各个领域。

自2015年TensorFlow诞生以来，已有三个主要版本。
TensorFlow更适合大规模部署，特别是跨平台和嵌入式部署

二.开始实验

1.为了消除 numpy 版本过高造成的输出中有太多WARING 警告日志，此处先降低 numpy 版本

!pip install -U numpy==1.15.0

运行结果如下：

2.版本检查，看一下刚刚降低 numpy 版本的版本号。

import numpy as np
print(np.__version__)

2.1TensorFlow的基本使用

1.打印出 Hello tensorflow

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()      # 建立一个session
print (sess.run(hello))  # 通过session里面的run来运行结果
sess.close()

运行结果如下：

2.基本运算

a = tf.constant(3)   # 定义常量3
b = tf.constant(4)   # 定义常量4
with tf.Session() as sess:  # 建立session
    print ("相加: %i" % sess.run(a+b))  # 计算输出两个变量相加的值
    print( "相乘: %i" % sess.run(a*b))  # 计算输出两个变量相乘的值

运行结果如下：

3.定义变量

var1 = tf.Variable(10.0 , name="varname")     
var2 = tf.Variable(11.0 , name="varname")     
var3 = tf.Variable(12.0 )     
var4 = tf.Variable(13.0 )   
with tf.variable_scope("test1" ): 
    var5 = tf.get_variable("varname",shape=[2],dtype=tf.float32)   
with tf.variable_scope("test2"):
    var6 = tf.get_variable("varname",shape=[2],dtype=tf.float32)  
print("var1:",var1.name)   
print("var2:",var2.name)  
print("var3:",var3.name)   
print("var4:",var4.name)   
print("var5:",var5.name)  
print("var6:",var6.name)

2.2基于全连接神经网络的手写数字识别

1.从OBS公共桶中下载MNIST数据集

import os
import moxing as mox
if not os.path.isdir("./MNIST_data"):
    mox.file.copy_parallel("obs://modelarts-labs-bj4/course/hwc_edu/python_module_framework/datasets/tensorflow_data/MNIST_data/","./MNIST_data")

2.导入数据集，使用TensorFlow可以直接进行本地数据加载

设置tensorflow日志级别 过滤WARNING

import tensorflow as tf
tf.logging.set_verbosity(tf.logging.ERROR)  
from tensorflow.examples.tutorials.mnist import input_data

下载到本地的文件夹

data_folder="./MNIST_data"

导入已经下载好的数据集，如果数据集不存在，会自动在线下载，可能比较耗时。

mnist = input_data.read_data_sets(data_folder, one_hot = True)

运行结果如下：

3.查看数据集的相关信息

# 训练数据集
print(mnist.train.images.shape, mnist.train.labels.shape)
# 测试数据集
print(mnist.test.images.shape, mnist.test.labels.shape)
# 验证数据集
print(mnist.validation.images.shape, mnist.validation.labels.shape)

运行结果如下：

4.展示部分加载后的数据

import matplotlib.pyplot as plt
%matplotlib inline
plt.figure()
for i in range(9):
    plt.subplot(3,3,i+1)
    plt.imshow(mnist.train.images[i].reshape((28,28)))
plt.show()

运行结果如下：

5.下载测试图片

if not os.path.exists("./num.png"):
    mox.file.copy("obs://modelarts-labs-bj4/course/hwc_edu/python_module_framework/datasets/tensorflow_data/num.png", "./num.png")

6.处理测试图片为网络支持的输入格式

import numpy as np
import cv2
def make_label(label_num):
    label = np.zeros((1,10),dtype='float32')
    label[:,label_num] = 1.0
    return label
label_test = make_label(3)
img_path = "./num.png"  # 图片路径
img_file=cv2.imread(img_path,0)
img_file=cv2.resize(img_file,(28,28))
plt.imshow(img_file,'gray')
plt.show()
data_test = img_file
data_test = np.float32(data_test.reshape(1, 28*28))
print(data_test.shape)

运行结果如下：

7.设置网络中会用到的超参数。

# 参数
learning_rate = 0.1
num_steps = 600
batch_size = 128
display_step = 100
# 神经网络的参数
n_hidden_1 = 256  # 第1层神经元数
n_hidden_2 = 256  # 第2层神经元数
num_input = 784   # MNIST数据输入（img形状：28 * 28）
num_classes = 10  # MNIST总类（0-9位）

8.全连接网络

# 计算图的input
X = tf.placeholder("float", [None, num_input])
Y = tf.placeholder("float", [None, num_classes])
# 隐藏层1
W1 = tf.Variable(tf.truncated_normal([num_input, n_hidden_1],stddev=0.1))
B1 = tf.Variable(tf.zeros([n_hidden_1]))
hidden1 = tf.nn.relu(tf.matmul(X,W1) + B1)
# 隐藏层2
W2 = tf.Variable(tf.truncated_normal([n_hidden_1, n_hidden_2],stddev=0.1))
B2 = tf.Variable(tf.zeros([n_hidden_2]))
hidden2 = tf.nn.relu(tf.matmul(hidden1,W2) + B2)
#输出层
W3 = tf.Variable(tf.zeros([n_hidden_2,num_classes]))
B3 = tf.Variable(tf.zeros([num_classes]))
logits = tf.matmul(hidden2, W3) + B3
#softmax
y = tf.nn.softmax(logits)

9.优化器和损失函数

损失函数

loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=logits, labels=Y))

优化器：Adam

train_op = tf.train.AdagradOptimizer(learning_rate).minimize(loss_op)

模型评估指标和初始化变量

correct_pred = tf.equal(tf.argmax(y, 1), tf.argmax(Y, 1))
accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32))
init = tf.global_variables_initializer()

10.训练并验证

with tf.Session() as sess:
    sess.run(init)
    for step in range(1, num_steps+1):
        batch_x, batch_y = mnist.train.next_batch(batch_size)
        # 运行优化器，反向传播
        sess.run(train_op, feed_dict={X: batch_x, Y: batch_y})
        if step % display_step == 0 or step == 1:
            # 计算loss和acc
            loss, acc = sess.run([loss_op, accuracy], feed_dict={X: batch_x, Y: batch_y})
            print("Step " + str(step) + ", Minibatch Loss= " + \
                  "{:.4f}".format(loss) + ", Training Accuracy= " + \
                  "{:.3f}".format(acc))
    print("Optimization Finished!")
    # 在MNIST test images上验证效果
    print("Testing Accuracy:", \
        sess.run(accuracy, feed_dict={X: mnist.test.images,
                                      Y: mnist.test.labels}))
    # 对自己手写的数字进行识别
    test_acc,test_value = sess.run([accuracy,y], feed_dict={X:data_test, Y:label_test})
    # 设置numpy矩阵显示3位小数
    np.set_printoptions(formatter={'float': '{: 0.3f}'.format})
    print(test_value)
    print("AI判断的数字是{}".format(list(test_value[0]).index(test_value[0].max())))

运行结果如下：

2.3 结论

可以看到模型在测试集的精度为96%，并在我们给的手写数字上识别正确。