基于智能計(jì)算的降維技術(shù)研究與應(yīng)用

隨著社會(huì)信息化的發(fā)展，在具體的智能識(shí)別過(guò)程中需要處理的的數(shù)據(jù)越來(lái)越多地呈現(xiàn)出高維特征，比如圖像處理、文本分類(lèi)、視頻檢索、計(jì)算機(jī)視覺(jué)、微陣列數(shù)據(jù)基因選擇和基于生物特征的身份識(shí)別等。造成這種現(xiàn)象的主要原因在于：在智能識(shí)別過(guò)程中，只有當(dāng)樣本已經(jīng)包含了足夠多的模式分類(lèi)信息時(shí)，才能得到較好的智能識(shí)別效果。然而，如何確定特征中是否已經(jīng)包含足夠多的類(lèi)別信息本身就是個(gè)很難解決的問(wèn)題。因此為了提高模式識(shí)別效果，在通常情況下，人們通過(guò)采集盡可能多的特征去體現(xiàn)樣本的類(lèi)別信息，這導(dǎo)致原始樣本空間的維數(shù)可能達(dá)到幾千維甚至上萬(wàn)維，而如果在如此高維的原始空間直接使用模式識(shí)別方法，那么所得到的智能識(shí)別效果將受到較大的影響。這是因?yàn)樵谌绱烁呔S的特征中存在著大量冗余的特征，使得特征之間的相關(guān)性較強(qiáng)，從而增加了模式分類(lèi)算法的負(fù)擔(dān)，降低了算法的效率。同時(shí)，由于隨著樣本特征維數(shù)的增加，使得對(duì)樣本的統(tǒng)計(jì)特性更加難以估計(jì)，從而會(huì)影響分類(lèi)算法的泛化能力，呈現(xiàn)出所謂過(guò)學(xué)習(xí)的現(xiàn)象[1]。因此，在智能識(shí)別過(guò)程中必須要對(duì)高維數(shù)據(jù)進(jìn)行相應(yīng)的預(yù)處理，以達(dá)到在保持樣本信息量的基礎(chǔ)上盡可能降低特征的維數(shù)，提高模式分類(lèi)的效果，而特征降維技術(shù)就是一種較為有效的數(shù)據(jù)預(yù)處理方法。

目前，特征降維技術(shù)作為一種關(guān)鍵的數(shù)據(jù)預(yù)處理技術(shù)被廣泛地加以研究，并在不同的實(shí)際運(yùn)用領(lǐng)域得到了較為成功的應(yīng)用，但隨著新理論和新技術(shù)的不斷發(fā)展，特別是大量新興的智能識(shí)別應(yīng)用領(lǐng)域的需求，對(duì)特征降維技術(shù)提出了更高的要求，使得現(xiàn)有的特征降維技術(shù)面臨更大的挑戰(zhàn)。比如：如何提高基于支持向量機(jī)的特征選擇方法的泛化能力和魯棒性；如何更好地實(shí)現(xiàn)特征提取技術(shù)與模糊聚類(lèi)技術(shù)的有機(jī)結(jié)合，以提高特征降維方法的魯棒性；如何提高特征降維方法中的距離度量學(xué)習(xí)的有效性；如何將特征降維方法中的關(guān)鍵技術(shù)和理論運(yùn)用到支持向量機(jī)中，以提高支持向量機(jī)的泛化能力和魯棒性；如何結(jié)合張量理論提高特征降維的效果；如何在具有明顯不同分布的源域和目標(biāo)域?qū)崿F(xiàn)提取技術(shù)等。

為此，本書(shū)從三個(gè)部分對(duì)上述問(wèn)題進(jìn)行描述和研究：

第一部分由第2章和第3章組成，這一部分分別討論兩種新穎的特征選擇方法。具體來(lái)說(shuō)，第2章主要針對(duì)勢(shì)支持向量機(jī)P-SVM存在的泛化能力不強(qiáng)的問(wèn)題，通過(guò)引入Fisher判別分析方法中的類(lèi)內(nèi)散度矩陣，重新構(gòu)造P-SVM的目標(biāo)函數(shù)，從而形成具有較強(qiáng)泛化能力的廣義的勢(shì)支持特征選擇方法GPSFM；第3章針對(duì)經(jīng)典的模糊聚類(lèi)方法FCM存在的對(duì)噪音數(shù)據(jù)和噪音特征敏感的問(wèn)題，采用對(duì)樣本點(diǎn)和樣本特征同時(shí)加權(quán)的方式，重新構(gòu)造FCM方法的目標(biāo)函數(shù)，從而得到具有特征排序功能的魯棒性模糊聚類(lèi)方法FCA。

第二部分由第4章至第7章組成，這一部分分別討論四種新穎的特征提取方法。具體來(lái)說(shuō)，第4章針對(duì)線(xiàn)性拉普拉斯判別準(zhǔn)則LLD方法存在的小樣本問(wèn)題以及如何確定原始樣本空間類(lèi)型的問(wèn)題，通過(guò)引入語(yǔ)境距離度量并結(jié)合最大間距判別準(zhǔn)則的基本原理，提出一種基于語(yǔ)境距離度量的拉普拉斯最大間距判別準(zhǔn)則CLMMC；第5章針對(duì)最大散度差判別準(zhǔn)則的效果很大程度上依賴(lài)參數(shù)的選取，并且該準(zhǔn)則的劃分屬于硬劃分，不能客觀(guān)地反映現(xiàn)實(shí)世界的問(wèn)題，通過(guò)引入模糊技術(shù)，重新構(gòu)造一種新的模糊最大散度差判別準(zhǔn)則，并根據(jù)這一新準(zhǔn)則提出一種模糊聚類(lèi)方法FMSDC；第6章通過(guò)FMSDC方法并結(jié)合張量理論，提出一種矩陣模式的模糊最大間距判別準(zhǔn)則MFMMC，并在此基礎(chǔ)上形成具有模糊聚類(lèi)功能的雙向二維無(wú)監(jiān)督特征提取方法(2D)2UFFCA；第7章主要討論了遷移學(xué)習(xí)法，通過(guò)引入局部加權(quán)均值的方法和理論到MMD中，提出投影最大局部加權(quán)均值差異PMLWD度量，PMLWD通過(guò)累積不同區(qū)域局部分塊之間的局部分布差異來(lái)反映區(qū)域間的全局分布差異。在PMLWD的基礎(chǔ)上，提出一種能實(shí)現(xiàn)遷移學(xué)習(xí)任務(wù)并具有一定局部學(xué)習(xí)能力的特征提取方法：最大局部加權(quán)均值差異嵌入MWME。同時(shí)，在PMLWD的基礎(chǔ)上，結(jié)合傳統(tǒng)的學(xué)習(xí)理論，提出基于局部加權(quán)均值的領(lǐng)域適應(yīng)學(xué)習(xí)框架LDAF，在LDAF框架下衍生出兩種領(lǐng)域適應(yīng)學(xué)習(xí)方法：LDAF_MLC和 LDAF_SVM。

第三部分由第8章和第9章組成，這一部分主要研究和討論兩種基于類(lèi)內(nèi)散度的支持向量機(jī)的方法。具體來(lái)說(shuō)，第8章針對(duì)最小類(lèi)內(nèi)散度支持向量機(jī)MCSVMs面臨的小樣本問(wèn)題，通過(guò)引入張量理論，重新構(gòu)造MCSVMs支持向量機(jī)的目標(biāo)函數(shù)，從而提出基于矩陣模式的最小類(lèi)內(nèi)散度支持向量機(jī)MCSVMsmatrix及相應(yīng)的非線(xiàn)性核方法Ker-MCSVMsmatrix。MCSVMsmatrix方法不但克服了MCSVMs方法所面臨的小樣本問(wèn)題，同時(shí)降低了算法本身具有的時(shí)間和空間復(fù)雜度。而且Ker-MCSVMsmatrix方法首次實(shí)現(xiàn)了矩陣模式的非線(xiàn)性化；第9章針對(duì)經(jīng)典SVM方法不能充分地反映樣本內(nèi)在幾何結(jié)構(gòu)及所蘊(yùn)含的判別信息的問(wèn)題，通過(guò)同時(shí)引入線(xiàn)性判別準(zhǔn)則中的類(lèi)內(nèi)散度和局部保持投影LPP的基本原理，重新構(gòu)造SVM的目標(biāo)函數(shù)，提出基于全局和局部保持的半監(jiān)督支持向量機(jī)GLSSVM及非線(xiàn)性核方法Ker-GLSSVM。

本書(shū)由鹽城工學(xué)院皋軍獨(dú)立完成。本書(shū)研究工作得到國(guó)家自然科學(xué)基金 （NO：61375001，61272210）、江蘇省自然科學(xué)基金（NO：BK2011417）、江蘇省計(jì)算機(jī)信息處理技術(shù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放課題（NO：KJS1126）的共同資助。

由于時(shí)間倉(cāng)促且作者水平有限，書(shū)中不當(dāng)之處在所難免，敬請(qǐng)讀者批評(píng)指正。

皋軍（鹽城工學(xué)院）

2013年7月

前言
第1章 緒論 1
1.1 課題研究背景 1
1.1.1 特征選擇技術(shù) 2
1.1.2 特征提取技術(shù) 3
1.2 特征降維技術(shù)面臨的幾個(gè)挑戰(zhàn) 4
1.3 課題的主要研究?jī)?nèi)容和組織安排 6
第2章 廣義的勢(shì)支持特征選擇方法 9
2.1 引言 9
2.2 勢(shì)支持向量機(jī)P-SVM 10
2.3 廣義的勢(shì)支持特征選擇方法：GPSFM 13
2.3.1 類(lèi)內(nèi)離散度 13
2.3.2 廣義的勢(shì)支持特征選擇方法 14
2.4 實(shí)驗(yàn)研究 18
2.4.1 真實(shí)數(shù)據(jù) 19
2.4.2 基因數(shù)據(jù) 26
2.4.3 人臉圖像數(shù)據(jù) 28
2.5 本章小結(jié) 29
第3章 具有特征排序功能的魯棒性模糊聚類(lèi) 30
3.1 引言 30
3.2 模糊C均值聚類(lèi)方法 31
3.3 具有特征排序功能的模糊聚類(lèi)方法 32
3.3.1 具有特征排序功能的FCA方法 32
3.3.2 基于幾何意義的權(quán)參數(shù)的選取 37
3.4 實(shí)驗(yàn)研究 38
3.4.1 加噪的IRIS數(shù)據(jù) 38
3.4.2 加噪紋理圖像數(shù)據(jù)集 42
3.4.3 真實(shí)數(shù)據(jù)集 44
3.5 本章小結(jié) 45
第4章 基于語(yǔ)境距離度量的拉普拉斯最大間距判別準(zhǔn)則 46
4.1 引言 46
4.2 線(xiàn)性拉普拉斯判別準(zhǔn)則 48
4.3 基于語(yǔ)境距離度量的拉普拉斯最大間距判別準(zhǔn)則 50
4.3.1 CLMMC準(zhǔn)則 50
4.3.2 CLMMC準(zhǔn)則的QR分解法 53
4.4 語(yǔ)境距離度量的設(shè)定 54
4.5 實(shí)驗(yàn)研究 57
4.5.1 低維非線(xiàn)性流形空間距離度量學(xué)習(xí) 57
4.5.2 CLMMC與CL-LLD內(nèi)在聯(lián)系 58
4.5.3 小樣本問(wèn)題 60
4.5.4 高維非線(xiàn)性流形空間小樣本問(wèn)題和距離度量學(xué)習(xí) 62
4.6 本章小結(jié) 64
第5章 基于模糊最大散度差判別準(zhǔn)則的聚類(lèi)方法 65
5.1 引言 65
5.2 最大散度差判別準(zhǔn)則 65
5.3 基于模糊最大散度差判別準(zhǔn)則的聚類(lèi)方法 66
5.3.1 模糊最大散度差判別準(zhǔn)則 66
5.3.2 設(shè)定模糊最大散度判別準(zhǔn)則中的參數(shù) 69
5.4 實(shí)驗(yàn)研究 71
5.4.1 基本的聚類(lèi)功能 72
5.4.2 大數(shù)據(jù)聚類(lèi)魯棒性 74
5.4.3 特征提取 75
5.5 本章小結(jié) 76
第6章 具有模糊聚類(lèi)功能的雙向二維無(wú)監(jiān)督特征提取方法 77
6.1 引言 77
6.2 相關(guān)工作 78
6.2.1 最大間距判別分析方法：MMC 78
6.2.2 雙向二維線(xiàn)性判別分析：(2D)2LDA 79
6.3 具有模糊聚類(lèi)功能的雙向二維無(wú)監(jiān)督特征 提取方法：(2D)2UFFCA 79
6.3.1 矩陣模式的模糊最大間距判別準(zhǔn)則：MFMMC 80
6.3.2 實(shí)現(xiàn)矩陣模式數(shù)據(jù)的雙向特征提取 81
6.3.3 實(shí)現(xiàn)矩陣模式數(shù)據(jù)的模糊聚類(lèi) 83
6.3.4 確定數(shù)據(jù)集 的模糊聚類(lèi)中心 85
6.4 實(shí)驗(yàn) 87
6.4.1 測(cè)試基本的聚類(lèi)能力 87
6.4.2 測(cè)試大數(shù)據(jù)集的聚類(lèi)效果 90
6.4.3 測(cè)試特征提取能力 92
6.5 本章小結(jié) 94
第7章 基于局部加權(quán)均值的領(lǐng)域適應(yīng)學(xué)習(xí)框架 96
7.1 引言 96
7.2 相關(guān)工作 100
7.2.1 最大均值差異：MMD 100
7.2.2 最大均值差異嵌入：MMDE 100
7.3 投影最大局部加權(quán)均值差異：PMLWD 102
7.4 最大局部加權(quán)均值差異嵌入MWME 104
7.4.1 線(xiàn)性最大局部加權(quán)均值嵌入：LMWME 104
7.4.2 核化的最大局部加權(quán)均值嵌入方法：Ker-MWME 109
7.5 基于局部加權(quán)均值的領(lǐng)域?qū)W習(xí)框架：LDAF 109
7.5.1 LDAF_MLC 110
7.5.2 LDAF_SVM 113
7.5.3 算法時(shí)間復(fù)雜度分析 116
7.6 實(shí)驗(yàn) 116
7.6.1 測(cè)試人造數(shù)據(jù)集 117
7.6.2 測(cè)試高維文本數(shù)據(jù)集 122
7.6.3 測(cè)試人臉數(shù)據(jù)集 127
7.7 本章小結(jié) 130
第8章 基于矩陣模式的最小類(lèi)內(nèi)散度支持向量機(jī) 132
8.1 引言 132
8.2 最小類(lèi)內(nèi)散度支持向量機(jī) 133
8.3 基于矩陣模式的最小類(lèi)內(nèi)散度支持向量機(jī) 135
8.3.1 線(xiàn)性的矩陣模式最小類(lèi)內(nèi)散度支持向量機(jī) 135
8.3.2 非線(xiàn)性的基于矩陣模式的最小類(lèi)內(nèi)散度支持向量機(jī) 139
8.4 實(shí)驗(yàn)研究 141
8.4.1 矢量數(shù)據(jù)的矩陣模式分類(lèi) 142
8.4.2 Ker-MCSVMsmatrix方法中使用 的合理性 143
8.4.3 矩陣模式數(shù)據(jù)的分類(lèi) 144
8.5 本章小結(jié) 146
第9章 基于全局和局部保持的半監(jiān)督支持向量機(jī) 147
9.1 引言 147
9.2 流形正則化框架 148
9.3 基于全局和局部保持的半監(jiān)督支持向量機(jī) 150
9.3.1 線(xiàn)性的GLSSVMs方法 150
9.3.2 非線(xiàn)性的Ker-GLSSVMs方法 152
9.4 實(shí)驗(yàn)研究 155
9.4.1 人造團(tuán)狀數(shù)據(jù) 155
9.4.2 人造流形結(jié)構(gòu)數(shù)據(jù) 156
9.4.3 UCI真實(shí)數(shù)據(jù) 159
9.4.4 圖像數(shù)據(jù) 160
9.5 本章小結(jié) 162
結(jié)束語(yǔ) 163
參考文獻(xiàn) 166