记录一些学习过程中遇到的基础概念，来源《机器学习导论》，《机器学习》——周志华，《白话大数据和机器学习》，《统计学习方法》——李航等，不是很全，等以后学习的深入待补充。
数据和信息
- 信息: 香农指出是”信息是用来消除随机不定性的东西”,就是那些把我们不清楚的描述,”信息是被消除的不确定性”。
- 算法: 简单理解为计算的方法和技巧，也可以是解决问题的办法
- 信息量: 一种信息数量化度量的规则，I=log_2m(m中情况产生概率均等)
- 先验概率: 事件按照常理，一般性规律发生的概率
- 香农公式:
,B=2H,H为信道带宽,S为信号功率,N为噪声功率 - 信息熵: 信息的杂乱程度的量化描述,H(x)=-sum_1^np(x_i)log_2P(x_i),i=1,2…
- 熵: 混乱程度的描述，越有序，熵越低，反之越高
回归和聚类
- 回归: 从大量的函数结果和自变量反推回函数表达式的过程就是回归
- 过拟合: 一般是拟合过程中模型描述的太复杂，一般参数繁多，计算逻辑多
- 欠拟合: 一般是操作不当产生的误差e分布太散或者太大的情况