2018年1月6日 星期六

神經網絡的普適性

啟發來源:
# https://github.com/mxjl620/reading_note/blob/master/Neural_Network_and_Deep_Learning/%E7%AC%AC%E5%9B%9B%E7%AB%A0_%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E5%8F%AF%E4%BB%A5%E6%8B%9F%E5%90%88%E4%BB%BB%E4%BD%95%E5%87%BD%E6%95%B0%E7%9A%84%E5%8F%AF%E8%A7%86%E5%8C%96%E8%AF%81%E6%98%8E.md

神經網絡的普適性:神經網絡可以擬和任意函數。


數學證明:
=========
# 基礎證明普適性
Approximation by superpositions of a sigmoidal function, by George Cybenko (1989).

# 採用Stone-Weierstrass定理的方式證明,包含hahn-Banach Theory、Riesz Representation、Fourier Analysis
Multilayer feedforward networks are universal approximators, by Kurt Hornik, Maxwell Stinchcombe, and Halbert White (1989)

# "神經網絡可以擬合任何函數"的普適性說明:
1. 增加隐藏神经元的个数,就能得到更好的结果,證明方式與微積分的趨近的delta-eplison表達雷同。
2. sigmoid神經元組成的網絡可以計算任意函數

sigmoid function的在神經元節點的weight足夠大時,可以擬合讓他趨近於step function。