目标: 人工智能(AI)、深度学习(Deep Learning)和机器学习(Machine Learning)的共同目标是赋予机器智能,使其能够像人类一样思考问题并做出决策。
关系概述
机器学习是人工智能的重要实现途径:机器学习通过算法解析数据,学习数据特征并进行归纳判断,是实现人工智能的核心技术之一。
深度学习是机器学习的一种方法:深度学习采用神经网络学习数据特征并进行判断,是机器学习在图像、语音、文本等领域的重要分支。深度学习的优势在于能够自动提取数据的多层次特征,适用于高维数据(如图像、语音),但在大规模数据集上表现优异的同时,需要大量计算资源。
定义
机器学习是通过技术手段,利用已有数据开发能够对新数据进行预测的模型,主要研究能够生成模型的算法。
方向划分
基于学习方式:
有监督学习:输入带有明确标识的数据,将预测结果与训练数据的结果进行比较,不断调整模型,直到预测结果达到预期准确率。
应用场景:分类、回归。
无监督学习:输入无标识的数据,基于数据本身识别变量内在的模式和特征。
应用场景:关联分析、聚类。
强化学习:不依赖输入数据,通过接受环境对动作的奖励来获取学习信息。
应用场景:机器人控制、计算机视觉、自然语言处理。
基于学习策略:
传统机器学习:基于统计学、概率论、线性代数等数学原理,通过分析输入数据的模式进行判断与预测。传统机器学习的优势在于在小规模数据集上表现良好,计算成本较低,且可解释性强,适合需要透明决策的场景。
深度学习:模拟人类大脑的感知与组织方式,通过人工神经网络构建模型,分析输入数据并进行判断与预测。
分类
将不同的类别进行区分,目标是寻找决策边界,输出为离散值(定性值)。
示例:图像分类(识别猫或狗)、垃圾邮件检测。
回归
找到一个空间,使得数据尽可能落在该空间上,目标是寻找最优拟合,输出为连续值(定量值)。
示例:房价预测、股票价格预测。
分类与回归的区别
输出不同:分类输出类别(离散值),回归输出预测值(连续值)。
目的不同:分类旨在寻找决策边界,回归旨在寻找最优拟合。
损失函数
定义:用于估量模型的预测值与真实值之间的不一致程度,是一个非负实值函数。
特点:损失函数值越小,说明模型的预测值与真实值越接近。不同算法可能使用不同的损失函数。
常见损失函数:
回归问题:常用均方误差(MSE)。
分类问题:常用交叉熵损失(Cross-Entropy Loss)。
优化函数
定义:通过调节模型参数,使损失函数值最小化。
常见优化算法:
批量梯度下降(Batch Gradient Descent):使用全部数据计算梯度,更新参数。
小批量梯度下降(Mini-Batch Gradient Descent):使用部分数据计算梯度,更新参数。
随机梯度下降(Stochastic Gradient Descent, SGD):每次使用一个样本计算梯度,更新参数。
牛顿法(Newton’s Method):利用二阶导数信息加速收敛。
动量优化法(Momentum):引入动量项,加速收敛并减少震荡。
优化函数的执行过程(以梯度下降为例)
所处位置:当前损失值。
移动方向:梯度方向(损失函数对参数的偏导数)。
移动速度:学习率(控制参数更新的步长)。学习率的选择非常重要,过大会导致模型无法收敛,过小会导致收敛速度过慢。可以使用学习率衰减策略,逐步减小学习率以提高模型性能。