随后，江寒操作着电脑，心无旁骛，很快就进入了状态。


    夏雨菲也不再来打扰他，拿着手机，半躺在床上，自己上网、听歌。


    江寒将高老师发送来的part012.rar和part013.rar下载下来，连同夏雨菲下载的前11个文件，放在了同一个文件夹中。


    然后在第1个文件上点击鼠标右键，选择用winrar解压缩，很快就得到了数据包。


    一共两个文件，train-images-idx3-ubyte与trainbels-idx1-ubyte。


    idx3-ubyte和idx1-ubyte都是自定义的文件格式，官网上就有格式说明。


    train-images文件大小超过1g，保存了20万张手写数字的图片信息。


    而trainbels中则存储了20万个标签数据，与train-images一一对应。


    和公开版本的mnist不同，用于比赛的这个手写数字数据集，数据量要大出好几倍。


    kaggle官方将数据集分为两部分，训练集train向参赛选手公开，而测试集test则内部保存。


    比赛的形式很简单，大家根据公开的训练集，编写自己的程序，提交给主办方。


    主办方用不公开的测试集数据，对这些程序逐一进行测试，然后比较它们在测试集上的表现。


    主要指标是识别率，次要指标是识别速度等。


    这是“人工神经网络”在这类竞技场上的初次亮相，江寒可不想铩羽而归。


    事实上，如果想追求更好的成绩，最好的办法，就是弄出卷积神经网络n）来。


    那玩意是图像识别算法的大杀器。


    在“机器学习”这个江湖中n的威力和地位，就相当于武侠世界中的倚天剑、屠龙刀。


    n一出，谁与争锋！


    只可惜，这个东西江寒现在还没研究出来。


    现上轿现扎耳朵眼，也来不及了。


    再说，饭要一口口吃，搞研究也得一步步来。


    跨度不能太大喽，免得扯到蛋……


    所以在这次比赛中，江寒最多只能祭出“带隐藏层的全连接神经网络”（）。


    有了这个限制，就好比戴着镣铐跳舞，给比赛平添了不少难度和变数。


    那些发展了几十年的优秀算法，也不见得会输普通的多少。


    所以，现在妄言冠军十拿九稳，还有点为时过早。


    不过，有挑战才更有趣味性嘛，稳赢的战斗打起来有什么意思呢？


    江寒根据官网上找到的数据格式说明文档，编写了一个文件解析函数，用来从两个train文件中提取数据。


    train-images-idx3-ubyte的格式挺简单的，从文件头部连续读取4个32位整形数据，就能得到4个参数。


    用来标识文件类型的魔数m、图片数量n、每张图片的高度h和宽度w。


    从偏移0016开始，保存的都是图片的像素数据。


    颜色深度是8位，取值范围0～255，代表着256级灰度信息，每个像素用一个字节来保存。


    然后，从文件头中可以得知，每张图片的分辨率都是28x28。


    这样每张图片就需要784个字节来存储。


    很容易就能计算出每张图片的起始地址，从而实现随机读取。


    如果连续读取，那就更简单了，只需要每次读取784个字节，一共读取n次，就能恰好读取完整个文件。


    需要注意的是，图像数据的像素值，在文件中存储类型为unsignedchar型，对应的format格式为b。


    所以在python程序中，在image_size（取值为784）这个参数的后面，还要加上b参数，这样才能读取一整张图片的全部像素。


    如果忘了加b，则只能读取一个像素……


    trainbels-idx1-ubyte格式更加简单。


    前8个字节是两个32位整形，分别保存了魔数和图片数量，从偏移0009开始，就是unsignedbyte类型的标签数据了。


    每个字节保存一张图片的标签，取值范围0～9。


    江寒很快就将标签数据也解析了出来。


    接下来，用matplot的绘图功能，将读取出来的手写数字图片，绘制到屏幕上。


    然后再将对应的标签数据，也打印到输出窗口，两者一比较，就能很轻松地检验解析函数是否有问题。


    将解析函数调试通过后，就可以继续往下进行了。


    首先要将图片的像素信息压缩一下，二值化或者归一化，以提高运算速度，节省存贮空间。


    像素原本的取值范围是0~255。


    二值化就是将大于阈值（通常设为中间值127）的数值看做1，否则看做0，这样图片数据就转换成了由0或者1组成的阵列。


    归一化也比较简单，只需要将每个像素的取值除以最大值255，那么每个像素的取值空间，就变成了介于0和1之间的浮点数。


    两种手段各有利弊，江寒决定每种都试一下，看看在实践中，哪个表现更好一些。


    由于江寒使用的是全连接网络，而不是卷积神经网络，所以还要将2维的图片，转换成1维的向量。


    这个步骤非常简单，将二维的图片像素信息，一行接一行按顺序存入一维数组就行。


    事实上，在解析数据文件的时候，已经顺便完成了这一步，所以并不需要额外的操作。


    20万张图片，就是20万行数据。


    将这些数据按顺序放入一个x784的二维数组里，就得到了feature。


    ble的处理比较简单，定义一个具有20万个元素的一维整形数组，按顺序读入即可。


    江寒根据这次的任务需求，将20万条训练数据划分成了2类。


    随机挑选了18万个数据，作为训练集，剩余2万个数据，则作为验证集validate。


    这样一来，就可以先用训练集训练神经网络，学习算法，然后再用未学习过的验证集进行测试。


    根据网络在陌生数据上的表现，就能大体推断出提交给主办方后，在真正的测试集上的表现。


    写完数据文件解析函数，接下来，就可以构建“带隐藏层的全连接人工神经网络”了。


    类似的程序，江寒当初为了写论文，编写过许多次。


    可这一次有所不同。


    这是真正的实战，必须将理论上的性能优势，转化为实实在在、有说服力的成绩。


    因此必须认真一些。


    打造一个神经网络，首先需要确定模型的拓扑结构。


    输入层有多少个神经元？


    输出层有多少个神经元？


    设置多少个隐藏层？


    每个隐藏层容纳多少个神经元？


    这都是在初始设计阶段，就要确定的问题。


    放在mnist数据集上，输入层毫无疑问，应该与每张图片的大小相同。


    也就是说，一共有784个输入神经元，每个神经元负责读取一个像素的取值。


    输出层的神经元个数，一般应该与输出结果的分类数相同。


    数字手写识别，是一个10分类任务，共有10种不同的输出，因此，输出层就应该拥有10个神经元。


    当输出层的某个神经元被激活时，就代表图片被识别为其所代表的数字。


    这里一般用softmax函数实现多分类。


    先把来自上一层的输入，映射为0~1之间的实数，进行归一化处理，保证多分类的概率之和刚好为1。


    然后用softmax分别计算10个数字的概率，选择其中最大的一个，激活对应的神经元，完成整个网络的输出。


    至于隐藏层的数量，以及其中包含的神经元数目，并没有什么一定的规范，完全可以随意设置。


    隐藏层越多，模型的学习能力和表现力就越强，但也更加容易产生过拟合。


    所以需要权衡利弊，选取一个最优的方案。


    起步阶段，暂时先设定一个隐藏层，其中包含100个神经元，然后在实践中，根据反馈效果慢慢调整……


    确定了网络的拓扑结构后，接下来就可以编写代码并调试了。


    调试通过，就加载数据集，进行训练，最后用训练好的网络，进行预测。


    就是这么一个过程。


    江寒先写了一个标准的模板，让其能利用训练数据集，进行基本的训练。


    理论上来说，可以将18万条数据，整体放进网络中进行训练。


    但这种做法有很多缺点。


    一来消耗内存太多，二来运算压力很大，训练起来速度极慢。


    要想避免这些问题，就要采取一定的策略。