目标

• Implement a neural network with fc layers for classifiction
• Test it on CIFAR-10 dataset

在处理数据的时候，因为数据的大小差别会比较大，为了避免数据的特征被其他特征吃掉，需要对数据进行normalization的处理

(0,1) 标准化

找到最大值和最小值，以最大值为1，最小值为0，计算其他数据在0到1之间的分布。

1
2

def normal0_1(x,Max,Min):
    return (x-Min)/(Max-Min)

使用np.max()，np.min来找最大值和最小值

正态分布

输入原始数据的均值和标准差，对数据处理，处理之后的数据是标准正态分布（均值是0，标准差是1）

1
2

def Normalization(x, mu, sigma):
    return (x-mu) / sigma

使用np.average()和np.std()找到均值和标准差

Sigmoid函数

sigmoid函数关于（0， 0.5）中心对称，在中心附近斜率较大，在负无穷接近0，正无穷接近1

1
2

def sigmood(x):
    return 1.0/(1+np.exp(-float(x)))

Softmax

这部分主要是softmax的loss要如何计算
Assignment From: Assignment1

目标

• implement a fully-vectorized loss function for the Softmax classifier
• implement the fully-vectorized expression for its analytic gradient
• check your implementation with numerical gradient
• use a validation set to tune the learning rate and regularization strength
• optimize the loss function with SGD
• visualize the final learned weights

参考文章：https://blog.csdn.net/u010976453/article/details/54381248

关于layout

在求导的时候有，因为分子和分母可能的维度不太一样，所以两种不同的布局，分别是分子布局和分母布局
假设y（向量）对x（标量）求导：

• 分子布局，即和原来的y相同
• 分母布局，为分子布局的tranpose

对标量的导数

scalar对scalar求导

即最简单的求导

vector对scalar求导

比如一个列向量y，对x求导，结果是y里面的每个值都对x求导

matrix对scalr求导

矩阵里面的每个值都对x求导

对向量的导数

scalar对vector

• 标量y和向量x，求出来的结果是y对每个x(x1,x2 ….xn)求导
• 结果为梯度向量，是标量y在空间Rn的梯度，空间以x为基
• 注意，x是列向量的话，最后求出来的是行的结果

vector对vector

y = [y1,y2 …. ym]
x = [x1,x2 …. xn]
最后求出来的结果是一个m行n列的矩阵，jacobian矩阵

matrix对vector

矩阵y =
[[y11,y12…y1n],
[y21,y22 …y2n],
…
[yn1,yn2 …ynn]
]
向量x = [x1,x2…xn]T
最终的结果是每一行分别对这个x的向量求导，所以矩阵的列数和向量的行数应该先通

对于矩阵

一般只考虑标量对矩阵(剩下的情况和上面类似)
最终结果是这个标量对所有的矩阵内容求导，求出来的是梯度矩阵

Assignment from: http: // cs231n.github.io / assignments2018 / assignment1/

目标：

• a fully - vectorized loss function for the SVM
• fully - vectorized expression for its analytic gradient
• use a validation set to tune the learning rate and regularization strength
• optimize the loss function with SGD
• visualize the final learned weights

遭遇问题TypeError: ‘method’ object is not subscriptable

是因为我本来写了一个class的method

1
2
3

def get_page(self, num):
num = int(num)
return self.pages[num]

但是在调用的时候我用了

1
2

get_page[i]
get_page(i)   #这样才是正确的

找到报错改括号就行了！

enumerate()枚举

对可迭代的数据进行标号并将其里面的数据和标号一并打印出来。

1

enumerate(iterable, start=0)

• iterable: 可迭代的数据，比如list
• start: 打印的初始值，默认从0开始打印

1
2
3

test = [[11], [21], [31], [41]]
for i, cnt in enumerate(test):
print(i, cnt)

结果为

1
2
3
4

0 [11]
1 [21]
2 [31]
3 [41]

python对变量None的判断

None是一种数据类型！！！

1
2

>>>type(None)
<class 'NoneType'>

说明该值是一个空的对象，是Python里面的特殊的值，跟NULL不一样，跟0也不一样

np.delete

numpy.delete(arr, obj, axis=None)

• 返回一个新的array，删除掉obj，沿着axis方向
• axis : int, optional
• The axis along which to delete the subarray defined by obj. If axis is None, obj is applied to the flattened array.(如果不加上axis的话会自动把这个array拉平)
• axis = 0：删除数组的行
• axis = 1: 删除数组的列
• axis = none: 把整个数组平铺之后按索引删除

np.where

np.where(condition, x, y)

满足条件(condition)，输出x，不满足输出y。

1
2
3

np.where([[True,False], [True,True]],    # 官网上的例子
[[1,2], [3,4]],
[[9,8], [7,6]])

输出

1
2

array([[1, 8],
[3, 4]])