回归中最为基础的方法, 最小二乘法.

\[
\begin{align*}
J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A\vec { x } -\vec { b } \right\| }^{ 2 }\quad \\
\end{align*}
\]

向量的范数定义

\[
\begin{align*}
\vec x &= [x_1,\cdots,x_n]^{\rm T}\\
\|\vec x\|_p &= \left( \sum_{i=1}^m{|x_i|^p}\right)^\frac{1}{p}, \space p<+\infty
\end{align*}
\]

\(L_2\)范数具体为

\[
\|\vec x\|_2 = (|x_1|^2 + \cdots+|x_m|^2)^{\frac{1}2} = \sqrt{\vec x ^{\rm T}\vec x }
\]

矩阵求导

采用列向量形式定义的偏导算子称为列向量偏导算子, 习惯称为\(\color {red} {梯度算子}\), n x 1 列向量偏导算子即梯度算子记作 \(\nabla_x\), 定义为

\[
\nabla_x = \frac{\partial}{\partial x} = \left[ \frac{\partial}{\partial x_1}, \cdots, \frac{\partial}{\partial x_m}\right] ^{\rm T}
\]

如果\(\vec x 是一个n\times 1\text{的列向量}\), 那么

\[
\begin{eqnarray}
\frac{\partial y x}{\partial x}=y^T \\
\frac{\partial(x^TA x)}{\partial x}=(A+A^T)x \\
\end{eqnarray}
\]

更多参照wiki矩阵计算

通过以上准备, 我们下面进行求解

\[
\begin{align*}
\therefore \quad J_{LS}{(\theta)} &= \frac { 1 }{ 2 } { \left\| A{ x } -\vec { b } \right\| }^{ 2 } \\
&= \frac{1}{2} (Ax-b)^T (Ax-b) \\
&= \frac{1}{2} (x^TA^T-b^T)(Ax-b) \\
&= \frac{1}{2}(x^TA^TAx-2b^TAx+b^Tb)
\end{align*} \\
\]

需要注意的 b, x 都是列向量, 那么 \(b^T Ax\) 是个标量, 标量的转置等于自身, \(b^T Ax =x^TA^Tb\)

对\(\vec x\)求导得:
\[J_{LS}'{(\theta)}=A^TA x-A^Tb=A^T(Ax-b)\]

最新文章

  1. 错误:Implicit super constructor xx() is undefined for default constructor. Must define an explicit constructor
  2. SQL Server 2014新特性——事务持久性控制
  3. Android 开发平台的演变史
  4. 关于linux下零散的东西 --慢慢补充
  5. grep正则表达式后面的单引号和双引号的区别
  6. PHP学习笔记三
  7. ASP.NET 5 Overview
  8. Entity Framework实体模型 入门视频教程
  9. [妙味JS基础]第七课:运算符、流程控制
  10. YARN整理
  11. 万马齐喑究可哀-中文编程的又一波&quot;讨论&quot;
  12. Linux top命令的用法详细详解
  13. vue 修饰符
  14. python中sys模块之输入输出错误流
  15. Java7/8 中 HashMap 和 ConcurrentHashMap的对比和分析
  16. [HAOI2017]方案数[组合计数、容斥、dp]
  17. select2 javascript控件 如何设置指定的值
  18. 用UILabel实现文字滚动播放(跑马灯)效果
  19. Mysql 查看表结构的命令
  20. MYSQL 更改数据库data存储目录 创建用户 创建权限 设置远程访问的权限.

热门文章

  1. Java中的Dom4j
  2. JVM jinfo命令(Java Configuration Info) 用法小结
  3. Dubbo服务的运行方式
  4. ACM-ICPC 2018 南京赛区网络预赛 J Sum (思维+打表)
  5. C/C++内存分配和管理
  6. Java秒杀系统方案优化 高性能高并发实战(1)
  7. Python操作MySQL-day11
  8. IDEA 远程调试 Tomcat 和 Debugger
  9. 很实用的php的缓存类文件示例
  10. cpp #,##