统计学习方法熵的概念信息熵定义对于一个随机变量$X$而言，其可能取值为$x_1,x_2,x_n\dots$，其取到的概率分别为$p_1,p_2,\dots p_n$那么定义其熵为（此处的$\log$底数是2）：$$H(X):=-\sum_{i=1}^n p_i\log p_i$$其含义是什么呢？把这个随机变量想成一个“数据”序列，例如$x_4 x_8 x_3 x_9 x_...