最小二乘支持向量機(jī)算法及應(yīng)用研究

Vapnik等人在20世紀(jì)60年代就開始研究有限樣本情況下的機(jī)器學(xué)習(xí)問題，直到90年代中期，有限樣本情況下的機(jī)器學(xué)習(xí)理論研究逐漸成熟起來，形成了一個(gè)較完善的理論體系——統(tǒng)計(jì)學(xué)習(xí)理論，它為研究有限樣本情況下的統(tǒng)計(jì)模式識(shí)別和更廣泛的機(jī)器學(xué)習(xí)問題建立了一個(gè)較好的理論框架。而同時(shí)神經(jīng)網(wǎng)絡(luò)等較新興的機(jī)器學(xué)習(xí)方法的研究則遇到了一些重要困難，如如何確定網(wǎng)絡(luò)結(jié)構(gòu)問題、過學(xué)習(xí)和欠學(xué)習(xí)問題、局部極小點(diǎn)問題等。在這種情況下，從更本質(zhì)上研究機(jī)器學(xué)習(xí)問題的統(tǒng)計(jì)學(xué)習(xí)理論逐步得到重視。1992年到1995年，在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出了一種新的模式識(shí)別方法——支持向量機(jī)。支持向量機(jī)憑借其堅(jiān)實(shí)的理論基礎(chǔ)和卓越的推廣能力成為目前機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。支持向量機(jī)算法是把尋找兩類之間的最優(yōu)超平面問題轉(zhuǎn)化為求解最大分類間隔問題，而最大間隔問題實(shí)際上是一個(gè)不等式約束的二次規(guī)劃問題。對于這個(gè)二次規(guī)劃問題的求解，很多學(xué)者提出了許多有效的方法。Suykens等設(shè)計(jì)的最小二乘支持向量機(jī)算法把不等式約束換成等式約束，從而使得支持向量機(jī)的求解由二次規(guī)劃問題轉(zhuǎn)化為一個(gè)線性方程組，極大地降低了求解難度。

本書主要以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，闡述了最小二乘支持向量機(jī)算法的理論及其在分類和回歸問題中的應(yīng)用。各章主要內(nèi)容如下：第1章簡要介紹了最小二乘支持向量機(jī)的產(chǎn)生及發(fā)展；第2章介紹了統(tǒng)計(jì)學(xué)習(xí)理論的基本內(nèi)容及用于解決分類問題的支持向量機(jī)和用于解決回歸問題的支持向量機(jī)；第3章首先介紹了最小二乘支持向量機(jī)分類和回歸算法，在此基礎(chǔ)上證明了回歸與分類問題可以相互轉(zhuǎn)換，給出了一種以回歸方式解決多類分類問題的算法；第4章針對科技文獻(xiàn)的關(guān)鍵詞提取問題給出了一套完整的處理方案。按照關(guān)鍵詞在文章的不同部分出現(xiàn)的次數(shù)形成訓(xùn)練樣本，采用最小二乘支持向量機(jī)回歸算法訓(xùn)練學(xué)習(xí)機(jī)。該學(xué)習(xí)機(jī)能夠?qū)崿F(xiàn)對科技文獻(xiàn)的關(guān)鍵詞提取；第5章針對最小二乘支持向量機(jī)算法中支持向量缺失稀疏性這一缺點(diǎn)，給出了一種基于Renyi熵的回歸算法。在相近的回歸正確率下，該算法有效地保證了支持向量的稀疏性，提高了運(yùn)算速度；第6章針對DNA微陣列數(shù)據(jù)維數(shù)高、樣本少的特點(diǎn)，給出了兩種特征基因子集選擇算法。這兩種算法均采用向前選擇策略，所處理的基因總數(shù)通常較少，選出基因的數(shù)目在迭代過程中由算法自適應(yīng)地確定。采用選出的基因構(gòu)造的分類器的性能是令人滿意的。

本書內(nèi)容包括作者多年從事最小二乘支持向量機(jī)算法及應(yīng)用研究的結(jié)果，同時(shí)也包括作者所在研究小組的一些共同研究成果，并且從國內(nèi)外文獻(xiàn)資料中提取了最主要的理論。本著作受到國家自然科學(xué)基金項(xiàng)目（項(xiàng)目編號(hào)：61163034）資助。目前國內(nèi)系統(tǒng)闡述最小二乘支持向量機(jī)理論及其在模式識(shí)別領(lǐng)域應(yīng)用方面的書籍還極為少見。本書可作為計(jì)算機(jī)、信息、電子等相關(guān)專業(yè)的研究生及相關(guān)領(lǐng)域的研究人員的實(shí)用讀物。

由于作者水平有限且時(shí)間倉促，書中難免存在錯(cuò)誤和不足之處，敬請專家和廣大讀者批評指正。

作 者

2011年11月

前言
第1章 緒論 1
第2章 統(tǒng)計(jì)學(xué)習(xí)理論基本知識(shí) 5
2.1 統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容 5
2.1.1 學(xué)習(xí)過程一致性的條件 6
2.1.2 VC維 7
2.1.3 推廣性的界 8
2.1.4 結(jié)構(gòu)風(fēng)險(xiǎn)最小化 9
2.2 支持向量分類機(jī) 11
2.2.1 線性支持向量分類機(jī) 11
2.2.2 非線性支持向量分類機(jī) 14
2.3 支持向量回歸機(jī) 17
2.3.1 線性支持向量回歸機(jī) 17
2.3.2 非線性支持向量回歸機(jī) 19
2.4 本章小結(jié) 21
第3章 基于LS-SVM的回歸與分類的轉(zhuǎn)換 22
3.1 基于最小二乘支持向量機(jī)的分類與回歸算法 23
3.1.1 最小二乘支持向量機(jī)分類算法 23
3.1.2 最小二乘支持向量機(jī)回歸算法 25
3.2 基于最小二乘支持向量機(jī)分類的回歸算法 27
3.3 基于最小二乘支持向量機(jī)回歸的分類算法 29
3.3.1 兩類分類 29
3.3.2 多類分類 31
3.4 數(shù)值實(shí)驗(yàn) 32
3.4.1 基于分類的回歸 32
3.4.2 基于回歸的多類分類 35
3.5 本章小結(jié) 39
第4章 基于LS-SVM的科技文獻(xiàn)關(guān)鍵詞提取 40
4.1 語義內(nèi)容管理系統(tǒng)中的關(guān)鍵詞提取 42
4.2 基于最小二乘支持向量機(jī)的關(guān)鍵詞提取 43
4.2.1 構(gòu)造關(guān)鍵詞庫和形成樣本 44
4.2.2 訓(xùn)練學(xué)習(xí)機(jī) 45
4.3 模擬實(shí)驗(yàn) 45
4.4 本章小結(jié) 48
第5章 基于Renyi熵的迭代LS-SVR算法 50
5.1 最小二乘支持向量機(jī)回歸算法及增量學(xué)習(xí)算法 51
5.2 Renyi熵 52
5.3 基于Renyi熵的迭代LS-SVR算法 54
5.4 數(shù)值實(shí)驗(yàn) 56
5.5 本章小結(jié) 61
第6章 基于LS-SVM的基因特征子集選擇算法 62
6.1 基于LS-SVR的自適應(yīng)基因特征子集選擇算法 64
6.1.1 自適應(yīng)迭代基因選擇算法 64
6.1.2 數(shù)值實(shí)驗(yàn) 68
6.2 基于留一交叉確認(rèn)和LS-SVC的基因選擇算法 70
6.2.1 基于留一交叉確認(rèn)誤差的基因選擇標(biāo)準(zhǔn) 70
6.2.2 基因選擇算法 72
6.2.3 數(shù)值實(shí)驗(yàn) 75
6.3 本章小結(jié) 76
參考文獻(xiàn) 78