神经网络如此强大？

这是一个多项式，因此可以显式计算其值。 n越大，近似值越接近真实值。

逼近理论的中心问题是为这些问题提供数学框架。 如果您有任何函数g(x)以及从计算方面更易于处理的函数族，那么您的目标就是找到一个与g足够接近的"简单"函数。 本质上，近似理论搜索三个核心问题的答案。

• 什么是"足够接近"?
• 我可以(或应该)使用哪个函数系列来近似?
• 从给定的近似函数族中，哪一个确切的函数最适合?

别担心这些听起来是否有点抽象，因为接下来我们将研究神经网络的特殊情况。

神经网络作为函数逼近器

因此，让我们重申这个问题。 我们有一个函数g(x)，它描述数据和观测值之间的关系。 这不是确切已知的，仅对于某些值

 

1989年的一个著名结果被称为通用逼近定理，该结论指出，只要激活函数像S形函数且被逼近的函数是连续的，具有单个隐藏层的神经网络就可以根据需要精确地对其进行逼近。 (或使用机器学习术语进行学习。)

如果确切的定理似乎很困难，请不要担心，我将详细解释整个过程。 (实际上，我故意跳过了稠密之类的概念，以使说明更清晰，尽管不够精确。)

步骤1。 假设要学习的函数是g(x)，它是连续的。 让我们固定一个小的ε并在函数周围绘制一个ε宽的条纹。 ε越小，结果越好。

 

但是，有几个警告。 例如，该定理没有说出N，也就是隐藏层中神经元的数量。 对于较小的ε，它可能非常大，从计算角度来看这是不利的。 我们希望尽快计算预测，而计算100亿项之和绝对不好玩。

第二个问题是，即使该定理保证了一个良好的逼近函数的存在，也没有告诉我们如何找到它。 尽管这可能令人惊讶，但这在数学中是非常典型的。 我们有非常强大的工具来推断某些对象的存在，而又不能显式构造它们。 (有一所称为建构主义的数学学校，它拒绝纯粹的存在性证明，例如通用逼近定理的原始证明。但是，这个问题根深蒂固。如果不接受非构造性证明，我们甚至无法谈论 无限集上的函数。)

但是，最大的问题是，在实践中，我们永远不会完全了解底层功能，而只会知道所观察到的内容：

（编辑：平顶山站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!