定义
假设输入空间(特征向量)为X⊆Rn，输出空间为Y={-1, +1}。输入x∈X表示实例的特征向量，对应于输入空间的点；输出y∈Y表示示例的类别。由输入空间到输出空间的函数为
f(x)=sign(w⋅x+b)
称为感知机。其中，参数w叫做权值向量weight，b称为偏置bias。w⋅x表示w和x的点积
∑i=wixi=w1x1+w2x2+...+wnxn
sign为符号函数，
在二分类问题中，f(x)的值（+1或-1）用于分类xx为正样本（+1）还是负样本（-1）。感知机是一种线性分类模型，属于判别模型。我们需要做的就是找到一个最佳的满足w⋅x+b=0的w和b值，即分离超平面（separating hyperplane）。如下图，一个线性可分的感知机模型。
中间的直线即w⋅x+b=0这条直线。
线性分类器的几何表示有：直线、平面、超平面。
学习策略
核心：极小化损失函数。
如果训练集是可分的，感知机的学习目的是求得一个能将训练集正实例点和负实例点完全分开的分离超平面。为了找到这样一个平面（或超平面），即确定感知机模型参数w和b，我们采用的是损失函数，同时并将损失函数极小化。
对于损失函数的选择，我们采用的是误分类点到超平面的距离（可以自己推算一下，这里采用的是几何间距，就是点到直线的距离）：
1∥w∥|w∗x0+b|
如果没有误分类点，则损失函数的值为0，而且误分类点越少，误分类点距离超平面就越近，损失函数值就越小。同时，损失函数L(w,b)L(w,b)是连续可导函数。
学习算法
感知机学习转变成求解损失函数L(w,b)L(w,b)的最优化问题。最优化的方法是随机梯度下降法（stochastic gradient descent），这里采用的就是该方法。关于梯度下降的详细内容，参考wikipedia Gradient descent。下面给出一个简单的梯度下降的可视化图：
上图就是随机梯度下降法一步一步达到最优值的过程，说明一下，梯度下降其实是局部最优。感知机学习算法本身是误分类驱动的，因此我们采用随机梯度下降法。首先，任选一个超平面w0w0和b0b0，然后使用梯度下降法不断地极小化目标函数
然后，随机选取一个误分类点，根据上面的规则，计算新的w,bw,b，然后进行更新：
其中η是步长，大于0小于1，在统计学习中称之为学习率（learning rate）。这样，通过迭代可以期待损失函数L(w,b)不断减小，直至为0.
下面给出一个感知器学习的图，比较形象：
由于上图采取的损失函数不同，所以权值的变化式子有点区别，不过思想都是一样的。
算法描述如下：
算法：感知机学习算法原始形式
输入：T={(x1,y1),(x2,y2)...(xN,yN)}（其中xi∈X=Rn，yi∈Y={-1, +1}，i=1,2...N，学习速率为η）
输出：w, b;感知机模型f(x)=sign(w·x+b)
(1) 初始化w0,b0，权值可以初始化为0或一个很小的随机数
(2) 在训练数据集中选取（x_i, y_i）
(3) 如果yi(w xi+b)≤0
w = w + ηy_ix_i
b = b + ηy_i
(4) 转至（2）,直至训练集中没有误分类点
解释：当一个实例点被误分类时，调整w,b，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直至超越该点被正确分类。
伪代码描述：
对于每个w⋅xw⋅x其实是这样子的（假设x表示的是七维）：
对于输入的每个特征都附加一个权值，然后将相加得到一个和函数f，最后该函数的输出即为输出的y值。
