机器学习概述

一、人工智能、深度学习与机器学习的关系

      目标: 人工智能(AI)、深度学习(Deep Learning)和机器学习(Machine Learning)的共同目标是赋予机器智能,使其能够像人类一样思考问题并做出决策。

关系概述

  1. 机器学习是人工智能的重要实现途径:机器学习通过算法解析数据,学习数据特征并进行归纳判断,是实现人工智能的核心技术之一。

  2. 深度学习是机器学习的一种方法:深度学习采用神经网络学习数据特征并进行判断,是机器学习在图像、语音、文本等领域的重要分支。深度学习的优势在于能够自动提取数据的多层次特征,适用于高维数据(如图像、语音),但在大规模数据集上表现优异的同时,需要大量计算资源。

此图片的 alt 属性为空;文件名为 image.png


 

二、机器学习的定义与方向

定义
机器学习是通过技术手段,利用已有数据开发能够对新数据进行预测的模型,主要研究能够生成模型的算法。

方向划分

  1. 基于学习方式

    • 有监督学习:输入带有明确标识的数据,将预测结果与训练数据的结果进行比较,不断调整模型,直到预测结果达到预期准确率。

      • 应用场景:分类、回归。

    • 无监督学习:输入无标识的数据,基于数据本身识别变量内在的模式和特征。

      • 应用场景:关联分析、聚类。

    • 强化学习:不依赖输入数据,通过接受环境对动作的奖励来获取学习信息。

      • 应用场景:机器人控制、计算机视觉、自然语言处理。

  2. 基于学习策略

    • 传统机器学习:基于统计学、概率论、线性代数等数学原理,通过分析输入数据的模式进行判断与预测。传统机器学习的优势在于在小规模数据集上表现良好,计算成本较低,且可解释性强,适合需要透明决策的场景。

    • 深度学习:模拟人类大脑的感知与组织方式,通过人工神经网络构建模型,分析输入数据并进行判断与预测。

 


 

三、分类与回归的概念

分类
将不同的类别进行区分,目标是寻找决策边界,输出为离散值(定性值)。

  • 示例:图像分类(识别猫或狗)、垃圾邮件检测。

回归
找到一个空间,使得数据尽可能落在该空间上,目标是寻找最优拟合,输出为连续值(定量值)。

  • 示例:房价预测、股票价格预测。

分类与回归的区别

  1. 输出不同:分类输出类别(离散值),回归输出预测值(连续值)。

  2. 目的不同:分类旨在寻找决策边界,回归旨在寻找最优拟合。

 


 

四、损失函数与优化函数

损失函数

  • 定义:用于估量模型的预测值与真实值之间的不一致程度,是一个非负实值函数。

  • 特点:损失函数值越小,说明模型的预测值与真实值越接近。不同算法可能使用不同的损失函数。

  • 常见损失函数

    • 回归问题:常用均方误差(MSE)。

    • 分类问题:常用交叉熵损失(Cross-Entropy Loss)。

优化函数

  • 定义:通过调节模型参数,使损失函数值最小化。

  • 常见优化算法

    • 批量梯度下降(Batch Gradient Descent):使用全部数据计算梯度,更新参数。

    • 小批量梯度下降(Mini-Batch Gradient Descent):使用部分数据计算梯度,更新参数。

    • 随机梯度下降(Stochastic Gradient Descent, SGD):每次使用一个样本计算梯度,更新参数。

    • 牛顿法(Newton’s Method):利用二阶导数信息加速收敛。

    • 动量优化法(Momentum):引入动量项,加速收敛并减少震荡。

此图片的 alt 属性为空;文件名为 image-1.png

 

优化函数的执行过程(以梯度下降为例)

  1. 所处位置:当前损失值。

  2. 移动方向:梯度方向(损失函数对参数的偏导数)。

  3. 移动速度:学习率(控制参数更新的步长)。学习率的选择非常重要,过大会导致模型无法收敛,过小会导致收敛速度过慢。可以使用学习率衰减策略,逐步减小学习率以提高模型性能。

 

 

此图片的 alt 属性为空;文件名为 image-2.png