深入理解softmax
softmax(归一化指数函数):一种将任意实数向量转换为概率分布的函数。它是深度学习中多分类任务的”标配”输出函数。 简单来说就是将一组“分数”转换为一组“概率”，使其和等于1，softmax作为转换函数。 一、 公式：1.1 核心公式、一个n维实数向量x = [$x_1,x_2,\ldots ,x_n$]： $$ Softmax(x_i) = {\frac{e^{x_i}}{\sum_{j=1}^n{e^{x_j}}}} $$ $e^{x^i}$ > 0，保证每个元素输出为正，放大数值差异$\sum_{j}e^{x_j}$取所有指数之和，作为归一化因子 1234567import numpy as npdef softmax(x): e_x = np.exp(x) return e_x / np.sum(e_x)if __name__ == "__main__": logtist = [10, 2, 1000] print(softmax(logtist)) [ 0. 0. nan]出现大数...