機器學習---計算學習理論
如果你不是數學系的，就不要看這個了。
因為以下內容全都在證明機器學習的方法是有效的，你可以用機器學習來得到你想要的結果。然而對于編程或者使用這個方法的人來說，你只要放心大膽地用就行了。就像你知道1+1=2，你并不需要知道它為什么等于，反正你可以用。
以下使用到的圖片來自上海交大楊旸老師的課件，網址如下：http://bcmi.sjtu.edu.cn/~yangyang/ml/
寫在前邊，這課我只聽懂了一部分，后來知道這個其實并不需要了解，就沒再細細研究，可能到后邊會突然就沒有內容了，強迫癥患者慎閱。
首先我們來看幾個概念：
m：訓練數據
H：假設空間，比如我們的映射函數是線性的，那么這個空間就包括滿足假設條件的所有線性函數（可能是這樣的）
e(就用它代替吧)：準確率，編程的時候輸出的準確率就是它
（這符號真...）：我們使用不同的訓練數據集產生的準確率會有不同，這個就是代表我們選的數據集是好的概率（比較模糊）
PAC framework：假設所有的訓練數據都是分類準確的，沒有噪聲的。但是這在現實中基本不可能達到的
Agnostic framework：訓練數據是有噪聲的。符合實際情況
t
圖中的c是完全分類準確的空間，h是我們的假設空間，有部分沒有圈到的就是說明我們預測的不準。
D表示理想狀態中全部的數據，下邊那個符號就是表示分類錯誤的概率（就是C和H不相交的那部分，我以為只有右邊那個月牙）
下邊這個公式和上一頁一樣，解釋一下上邊那個公式
S是訓練用的數據集（也就是理想完整數據集D的一部分），那么我們計算錯誤率的方法就是，找到所有使用訓練得到的映射函數分類錯誤的結果，用錯誤的個數除以總訓練個數就是錯誤率~
上邊求和里邊的（一普斯龍）就是一個脈沖函數，表示，如果C和H不相等就取1，相等就取0
這就是一個定理，所有事件并起來的概率小于等于它們分別的概率相加
這也是一個定理公式，記住就行了，叫做Hoeffding不等式
r就是你指定的一個常數。
Zi等于1和等于0的概率已經知道了，就是（fai）和1-（fai），我們訓練好的模型估計出來的值就是（fai估），但是這個公式中的（fai估）是需要求所有估計值的平均的，然和前邊那個概率就小于等于后邊這個式子咯。m代表樣本的個數
Version Space：之前說的那個很大的假設空間里邊，和訓練數據完全匹配的那些個映射關系
我們已經知道了這么多的概念，然后我們到底需要證明的是什么呢？就是下圖中的兩個式子
只要證明上邊這兩個式子成立，那么我們就可以說我們的學習方法是正確的可行的。
就是我們訓練得到的映射關系用在理想的完整的數據上的錯誤率約等于0（也就是我們使用部分訓練數據是OK的）
并且要讓錯誤率約等于0的概率約等于1（也就是說我們無論取什么樣的訓練數據都沒有影響）
證明了這兩個內容，那么我們就可以說學習的方法是正確可行的。
怎么證明約等于0呢？其實只要證明它有上界和下界就OK
至于具體的證明步驟，嘿嘿，沒懂。