交叉熵 (Cross Entropy)

1 Binary Crossentropy

二值交叉熵损失函数,一般用于二分类:
\operatorname{loss}=-\sum_{i=1}^{n} \hat{y}_{i} \log y_{i}+\left(1-\hat{y}_{i}\right) \log \left(1-\hat{y}_{i}\right)\tag{1}

2 Categorical Cross Entropy

分类交叉熵损失函数,一般用于多分类:
\operatorname{loss}=-\sum_{i=1}^{n} \hat{y}_{i 1} \log y_{i 1}+\hat{y}_{i 2} \log y_{i 2}+\cdots+\hat{y}_{i m} \log y_{i m}\tag{2}

3 分类问题应用

常见的有如下分类问题:

      二分类 (Binary classification):一般输出表示是否属于某类的概率
      多分类 (Multi-class classification):一般输出表示属于多种类别中的某一类的概率
      多标签 (Multi-label classification):一般输出表示属于多种类别中的某一类或多类的概率

通常情况下对于多类和多标签问题,使用如下的 Activate 和 Loss 组合:

ProblemActivationLossNotes
Binary classificationSigmoidBinary Cross EntropyTwo exclusive classes
Multi-class classificationSoftmaxCategorical Cross EntropyMore than two exclusive classes
Multi-label classificationSigmoidBinary Cross EntropyJust non-exclusive classes