支持向量机（SVM)

keyword：SVM（Support Vector Machines），超平面，逻辑回归

• 向量机的目的：
• 超平面：

• 下确界（lower bound）：S是一个偏序集合（S，≤），存在一个数值l属于K，这个数值l小于或等于S中的任意一个元素的值，则称这个值为S的一个下确界。

  • 如果l在S中，则称该元素为infimum，（greatest lower bound，最大下确界）
  • 同理有上确界（supremum)和最小上确界

• 凸函数和凹函数

• 函数对偶（duality）

  • 通过对偶函数使得求解原函数的最大值/最小值更简单
  • 对偶函数与原函数的最大值P和最小值D相对应
  • 可能存在间隔（即P = D）(Duality gap），称为这两个函数是弱对偶成立（weak duality holds)
  • 同理可得，P - D = 0的两个对偶函数称为强对偶成立（srong duality holds)

（简写英文小课堂:

. E.g. stands for exempli gratia and means “for example.” I.e. is the abbreviation for id est and means “in other words.”

• objective function 目标函数f（损失函数)

  • 找出x，满足 f 最小
  • 同时满足约束(subject to constraints)
    • 简写（s.t.)

• feasible region 可行解

• 拉格朗日乘数
  • Coutour Lines 等高线
    • 等高线上的任意一个点的函数取值都是一样的
    • the darker the area is，the smaller the value is
  • vector field 向量场
    • 可视化一个函数每一点上的梯度（gradient）
    • 箭头指向函数在该点增长得最快的方向
  • 将约束函数和原函数的向量场放在同一个图像中，当两个函数的某些向量是方向平行的，