MNIST手写数字识别 —— 图像分析法实现二分类

手写数字任务识别简介

MNIST 数据集来自美国国家标准与技术研究所（National Institute of Standards and Technology，简称 NIST ），总共有7万张图，其中训练集6万张，由 250 个不同人的手写数字构成, 50% 是高中学生, 另外 50% 是人口普查局的工作人员，测试集1万张图，也是由同样比例的人手写的数字。该数据集在深度学习领域，是一个很经典的入门学习数据集，部分手写数字的图片样例如下：

1.下载MNIST数据集

# 创建datasets目录import osdatasets_dir = '../datasets'if not os.path.exists(datasets_dir):os.makedirs(datasets_dir)

os是提供了一些方便使用操作系统相关功能的函数，通过import将该工具包导入。

1.获得当前文件路径：os.getcwd()

2.新建一个文件夹：os.mkdir()

3.跳转当前文件路径：os.chdir(一个已存在的目录)

4.获得路径下的所有文件名称：os.listdir(path)

5.返回是否是文件夹：os.path.isdir()

6.返回是否是文件：os.path.isfile()

7.将文件路径进行拆分：os.path.split()

8.修改文件名称：os.rename()

# 下载数据集，由于使用的数据源在华为云OBS中，所以本代码只能在华为云 ModelArts 中运行import moxing as moxif not os.path.exists(os.path.join(datasets_dir, 'MNIST_Data.zip')):mox.file.copy('obs://modelarts-labs-bj4-v2/course/hwc_edu/python_module_framework/datasets/mindspore_data/MNIST_Data.zip', os.path.join(datasets_dir, 'MNIST_Data.zip'))os.system('cd %s; unzip MNIST_Data.zip' % (datasets_dir))

moxing：MoXing（模型）是华为云深度学习服务提供的网络模型开发API。相对于TensorFlow和MXNet等原生API而言，MoXing API让模型的代码编写更加简单，而且能够自动获取高性能的分布式执行能力。

2.读取MNIST数据集

import numpy as npimport mindspore.dataset as ds# 读取完整训练样本和测试样本datasets_dir = '../datasets'mnist_ds_train = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/train"))mnist_ds_test = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/test"))# 为训练集创建字典迭代器，提取训练图片和标签items_train = mnist_ds_train.create_dict_iterator(output_numpy=True)train_data = np.array([i for i in items_train])images_train = np.array([i["image"] for i in train_data])labels_train = np.array([i["label"] for i in train_data])# 为测试集创建字典迭代器，提取测试图片和标签items_test = mnist_ds_test.create_dict_iterator(output_numpy=True)test_data = np.array([i for i in items_test])images_test = np.array([i["image"] for i in test_data])labels_test = np.array([i["label"] for i in test_data])print("训练集规模：") # 60000个训练样本print("图片：{}, 标签：{}".format(images_train.shape, labels_train.shape))print("测试集规模：") # 10000个训练样本print('图片：{}, 标签：{}'.format(images_test.shape, labels_test.shape))

训练集规模：

图片：(60000, 28, 28, 1), 标签：(60000,)

测试集规模：

图片：(10000, 28, 28, 1), 标签：(10000,)

3.查看部分图片及标签

from PIL import Imagebatch_img = np.squeeze(images_train[0])print("图像的大小： ", batch_img.shape)print("图像的标签： ", labels_train[0])Image.fromarray(batch_img) # 转成PIL格式进行图片显示

图像的大小： (28, 28)

图像的标签： 9

batch_img = np.squeeze(images_train[1])print("图像的大小： ", batch_img.shape)print("图像的标签： ", labels_train[1])Image.fromarray(batch_img) # 转成PIL格式进行图片显示

图像的大小： (28, 28)

图像的标签： 4

图像分析法实现手写数字二分类

（使用传统的软件编程方法,分析图像统计特征的方法，而不是AI的方法来实现手写数字识别。）

手写数字识别任务，是要对每张28*28大小的图片进行预测，判断该图片是数字0-9中的哪一个，因此这是一个10分类的任务。

做科研的常规方法是先对一个问题做一些假设或简化，尝试去解决这个简单的问题，等简单问题得到较好的解决之后，再减少假设，尝试解决更贴近现实情况、也更复杂的问题。遵循这种方法，先假设手写数字识别任务只需要识别0和1两个数字，先尝试解决这个简单的二分类问题，之后再解决10分类的问题。

实现手写数字0和1的二分类，有很多种方法，先采用非机器学习的方法，比如基于图像分析的传统编程方法来实现数字0和1的二分类。

1.准备手写数字0和1的数据集

由于整个MNIST数据集是包含0~9的所有图片，现在研究的是简化的0和1的二分类问题，所以先从整个数据集中将所有手写数字0和1的图片挑选出来，同样也需要区分训练集和测试集。

import osimport numpy as npimport mindspore.dataset as dsdatasets_dir = '../datasets'if not os.path.exists(datasets_dir):os.makedirs(datasets_dir)import moxing as moxif not os.path.exists(os.path.join(datasets_dir, 'MNIST_Data.zip')):mox.file.copy('obs://modelarts-labs-bj4-v2/course/hwc_edu/python_module_framework/datasets/mindspore_data/MNIST_Data.zip', os.path.join(datasets_dir, 'MNIST_Data.zip'))os.system('cd %s; unzip MNIST_Data.zip' % (datasets_dir))# 读取完整训练样本和测试样本mnist_ds_train = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/train"))mnist_ds_test = ds.MnistDataset(os.path.join(datasets_dir, "MNIST_Data/test"))# 为训练集创建字典迭代器，提取训练图片和标签items_train = mnist_ds_train.create_dict_iterator(output_numpy=True)train_data = np.array([i for i in items_train])images_train = np.array([i["image"] for i in train_data])labels_train = np.array([i["label"] for i in train_data])# 为测试集创建字典迭代器，提取测试图片和标签items_test = mnist_ds_test.create_dict_iterator(output_numpy=True)test_data = np.array([i for i in items_test])images_test = np.array([i["image"] for i in test_data])labels_test = np.array([i["label"] for i in test_data])

提取0和1数据

# 提取 0 ，1 数据train_zeros = images_train[labels_train==0]train_ones = images_train[labels_train==1]test_zeros = images_test[labels_test==0]test_ones = images_test[labels_test==1]print('数字0，训练集规模：', len(train_zeros), '，测试集规模：', len(test_zeros))print('数字1，训练集规模：', len(train_ones), '，测试集规模：', len(test_ones))

数字0，训练集规模： 5923 ，测试集规模： 980

数字1，训练集规模： 6742 ，测试集规模： 1135

2.进行样本分析

查看样本的整体概况

# 查看30张数字0的图片from PIL import Imagebatch_zeros = np.squeeze(train_zeros[:30])Image.fromarray(np.hstack(batch_zeros))

# 查看30张数字1的图片batch_ones = np.squeeze(train_ones[:30])Image.fromarray(np.hstack(batch_ones))

查看单张图片的细节

上文提到，MNIST数据集中的每张图片都是28*28大小，使用python模块读取图片文件后，图片可以用一个28*28的矩阵来表示，下面查看一下这个矩阵中的具体数值。

# 首先安装必要的库!pip install jinja2

# 查看图片的像素值import pandas as pdsingle_image = np.squeeze(images_train[0])df = pd.DataFrame(single_image)df.style.set_properties(**{'font-size':'6pt'}).background_gradient('Greys')

▲图片数字4的矩阵值

在手写数字原图中，图片的背景是黑色，对应的像素值是0， 数字笔画的颜色是白色，对应的像素值是255，为了方便显示，上图显示的颜色做了黑白翻转。

可以发现一个现象：矩阵中的每一个值都代表图片中的一个像素，没有笔画的地方是0像素值，有笔画的地方是非零像素，而且按照常理，同样大小的图片中，数字0的笔画面积一般会比数字1的笔画面积要多。

由此产生一个思路：能否根据笔画产生的非零像素在整幅图像中的占比来区分数字0和1？

先分别统计数字0和数字1的非零像素在整幅图像中的占比均值，由于数字0的非零像素占比一般比数字1的要大，所以只需要找到一个合适的非零像素占比阈值（用变量th表示），如果某张图片的非零像素占比大于th，就可以将该图片分类为0，否则分类为1。为实现这个思路，我们接下来可以采用传统的编程方法来一步步实现。

3.定义非零像素占比函数

def calc_nonzero_ratio(img):'''实现方法：使用np.count_nonzero函数统计矩阵中的非零像素个数，除以图像大小，即可得到非零像素占比'''img = np.asarray(img)return np.count_nonzero(img) / img.size

统计数字0的非零像素占比均值

zeros_ratio = 0for zero in train_zeros:zeros_ratio += calc_nonzero_ratio(zero)zeros_ratio = zeros_ratio / len(train_zeros)print('数字0的非零像素占比均值：', zeros_ratio)

数字0的非零像素占比均值： 0.24486587223104644

统计数字1的非零像素占比均值

ones_ratio = 0for one in train_ones:ones_ratio += calc_nonzero_ratio(one)ones_ratio = ones_ratio / len(train_ones)print('数字1的非零像素占比均值：', ones_ratio)

数字1的非零像素占比均值： 0.10949749968216267

4.设置像素占比分类阈值

先采取一个简单的策略来设置分类阈值，直接取数字0和数字1的非零像素占比的平均值，取4位有效小数。

th = round((zeros_ratio + ones_ratio) / 2, 4)print('分类阈值：', th)

分类阈值：0.1772

5.定义分类预测函数

这个分类方法很简单，如果某张图片的非零像素占比大于th，就将该图片分类为0，否则分类为1 。

def predict(img):if calc_nonzero_ratio(img) > th:pred_label = 0else:pred_label = 1return pred_label

6.准确率统计

对数字0的测试样本进行预测，并统计准确率

zero_right_count = 0for zero in test_zeros:pred_result = predict(zero)if pred_result == 0:zero_right_count += 1print('数字0测试样本准确率：%.4f' % (float(zero_right_count) / len(test_zeros)))

数字0测试样本准确率：0.9571

对数字1的测试样本进行预测，并统计准确率

one_right_count = 0for one in test_ones:pred_result = predict(one)if pred_result == 1:one_right_count += 1print('数字1测试样本准确率：%.4f' % (float(one_right_count) / len(test_ones)))

数字1测试样本准确率：0.9762

统计综合准确率

print('测试样本综合准确率：%.4f' % (float(zero_right_count + one_right_count) / (len(test_zeros) + len(test_ones))))

测试样本综合准确率：0.9674

如上所示，使用“统计非零像素占比，比较阈值” 这种很简单的策略，也可以实现手写数字0和1的分类，数字0和数字1的分类准确率分别是 95.71% 和 97.62%，综合准确率达到 96.74%。