感知机是线性模型，如果我使用 x^2、x^3 的方式引入非线性，可以达到神经网络那样的效果么？
buaacss · 2023-11-28 19:41:44 +08:00 · 1163 次点击这是一个创建于 394 天前的主题，其中的信息可能已经有所发展或是发生改变。
神经网络的非线性来自于激活函数，但是神经网络几乎无法从物理层面说明原理。既然目标都是做拟合，那么多项式拟合任意函数从物理上也更直观一些吧？比如泰勒级数也可以做任意函数的拟合，不知道前人有没有试过引入变量的平方、三次方、四次方来做呢？
 |
1
Inn0Vat10n 2023-11-28 20:07:24 +08:00  1
统计学里一般叫多项式回归。不过有没有拟合能力是一个问题，好不好优化、泛化能力如何是更关键的一个问题。高阶多项式回归很容易过拟合
|
 |
2
l8L12cwti87t9Kwg 2023-11-29 09:23:55 +08:00
任何函数写成神经网络那个样子都是神经网络吧？感知机就不算简单的神经网络了？
|
 |
3
buaacss OP @doudouwang 对，感知机也是神经网络，我说的感知机应该是去掉非线性激活函数，应该是多元线性回归。所以我理解
多层的（多元线性回归 + 非线性激活函数） = 神经网络拟合 多元线性回归 + 变量的 2 次方 + 变量的三次方 = 多项式拟合 那么之前有没有人走过多项式拟合这条路。应该就是一楼说得多项式回归。 |
|
4
l8L12cwti87t9Kwg 2023-11-30 09:13:53 +08:00
我觉得不管有没有激活函数，都是神经网络，而且正是由这个基础上发展来的，而激活函数只是为了解决特定问题才加入的。
|
 |
5
shm7 304 天前
都 2024 了，用感知机这套 50 年以前的东西就有点...
|
Select Language