感知机是对神经元的模仿,是人工智能最早的模型,是一种有监督的学习算法,本质是一个二分类问题,是神经网络和支持向量机的基础
缺点:只能解决单纯的线性问题
过程:
多层感知机
结构主要包含输入层,隐藏层和输出层,可以用于拟合非线性函数。
激活函数:激活函数是一种在人工智能神经的神经单元上运行的函数,旨在帮助网络学习数据中的复杂模式,负责将神经元节点的输入映射到输出端。
常见激活函数:Sigmoid函数,Tanh函数,ReLU函数等等。
Sigmoid函数是深度学习和机器学习中常用的一种激活函数,它将实数映射到(0, 1)区间,具有S形曲线,可用于二分类。输出不是0均值,存在梯度消失情况。
Tanh函数:解决了不是0均值的问题,在特征相差明显时效果更好,循环过程中不断扩大特征效果。
存在梯度消失问题。
ReLU激活函数:计算速度快,收敛速度快,解决了梯度消失问题。
BP神经网络算法
Back Propagation神经网络是一种按误差逆传播算法训练的多层神经网络,正向传播求损失(与正确的差别),反向传播回传误差(学习差别,积累经验), 根据误差信号修正每层的权重。