sparse_categorical_crossentropy 与 categorical_crossentropy区别：根据标签的结构来选择

1. 如果样本标签是one-hot编码，则用 categorical_crossentropy函数
   one-hot 编码：[0, 0, 1], [1, 0, 0], [0, 1, 0]
2. 如果样本标签是数字编码 ，则用sparse_categorical_crossentropy函数
   数字编码：2, 0, 1

binary_crossentropy交叉熵损失函数，一般用于二分类

二值交叉熵损失函数证明
理解交叉熵作为损失函数在神经网络中的作用

这个是针对概率之间的损失函数，你会发现只有y 和 yi^ 是相等时，loss才为0，否则loss就是为一个正数。而且，概率相差越大，loss就越大。这个神奇的度量概率距离的方式称为交叉熵。
categorical_crossentropy


一般使用 softmax 作为输出层的激活函数的情况
交叉熵损失(Cross Entropy)求导