楊強教授

在當下的資訊時代，數據的收集與應用已經融入我們的日常生活。每一天，GPS裝置和智慧手機時刻採集著我們的位置資訊；網站記錄著我們上網時的搜索，瀏覽和點擊；網絡媒體庫保存著我們上傳的每張相片。海量的信息記錄、儲存和處理都時刻發生在我們身邊。當我們積存了如此巨大的資訊時，如何從中發掘出潛在的價值和模式就變得非常重要。以探索發現隱含資訊為目標的「數據挖掘」即是數據應用技術的研究。

本項目旨在研發一項全新的技術，希望這項技術能夠借助多個不同資訊源之間數據的相關性，更有效地分析，挖掘有趣的模式和知識。遷移學習是模擬人類學習的自然規律。例如，當我們閱讀過大量描述蝴蝶的文檔(文字資訊源) 後，即有可能會從相關的圖片中發現蝴蝶的新品種。人類認知和發現的能力可以看作是知識吸取和遷移的過程。又或是，瞭解國際象棋的遊戲規則會幫助我們更加容易地學會下圍棋；掌握C++的編程技術會加快我們學習JAVA的過程。以上這些都可以稱作「多模態遷移學習」模型在日常生活的實例。多模態遷移學習也是一種學習方法，它是將知識從一種形式(或某個領域) 遷移到其他相關的形式 (領域) 當中。當我們閱讀文字的時候，我們會在大腦中繪出文字對應的場景或者圖片，這個過程能夠幫助我們識別圖片中的物體。應用多模態遷移學習的優點還在於，識別新的場景和物體時，無需重新構建模型，節省了時間和加快數據的獲取。

在數據挖掘研究中，數據用特徵空間來表示數據。不同領域的數據，特徵空間也有不同的描述方式。例如，圖片形式的數據使用圖元，線條等特徵來描述；文字形式的數據使用字元，短語等特徵來描述。多模態遷移學習是將從某一領域學習到的知識遷移到另一種全新的，較複雜的領域中來幫助這一領域的學習。

在多模態遷移學習的研究中，最主要的難題在於不同模態數據之間的特徵空間和數據分佈的不同。這兩項假設往往與現實應用的場景背道而馳。為解決這一難題，我們研究了一種新穎獨到的多模態遷移學習方法。這一方法簡單來說，在兩個相關的特徵空間之間構建一個映射，讓知識通過映射遷移到目標數據。具體而言，對於特徵空間的不同，我們嘗試搜尋豐富的網絡資源，例如維基百科或Flickr，借用圖片和相關的標籤信息搭建兩個特徵空間之間的「橋樑」。而對於數據分佈的不同，我們採取資訊過濾器來把兩個學習領域之間的差異最小化。

　

我們的工作取得了令人矚目的研究成果。2010年，麻省理工《科技創業》雜誌報導了我們在廣告應用領域作出的有關多模態遷移學習的研究工作。在這研究工作中，首先由用戶輸入一張圖片。接下來，我們所研發的系統 (稱作ViCAD) 將會把與輸入圖片有相似語義資訊的圖片以及文本文字呈現給用戶。同時，廣告也會包含在這些返回結果中。從搜索引擎公司的角度來看，這無疑會帶來經濟效益的提升。按照我們的研究思路，搜索引擎完全可以通過多模態遷移學習的方法學習出文本和圖片之間的映射。


參與第18 屆知識發現和數據挖掘國際會議

ViCAD項目的成功激勵我們繼續探索多模態遷移學習在圖片分類上的可行性。普遍地，構建一個好的圖片分類器需要標記充足的數據。事實上，標記數據不足和難以獲取一直是困擾圖片分類器性能的大問題。但是，我們提出的多模態遷移學習能夠借助文本資訊來幫助提升圖片分類的精度。我們有一篇相關的研究論文被AAAI'11會議收錄，論文中，我們不僅能夠使用一些沒有標記的圖片，還能使用沒有標記的文本，來幫助目標圖片的分類。在這個問題中，帶有標籤的圖片發揮了類似橋樑的作用，這些標籤可以把文本中的分類資訊傳遞到圖片上。通過在Caltech-256數據集(普遍用於圖片分類的數據集) 的大量實驗，我們發現在構建的二類分類問題中，我們的方法在「閱讀」200個文本後就會有百分之十的準確率提高。從廣義上講，多模態遷移學習在圖片分類的應用也為圖片和文本之間的聯繫提供了更深的理解，並且可以啟發它們之間的其他應用。

除此之外，我們在知名的國際大型數據挖掘比賽中也取得了斐然的成績。2011年的ACM KDDCUP數據挖掘比賽中，我們和一些內地學生組建的參賽隊伍獲得了第三名。這次比賽的任務是雅虎音樂推薦，據統計，來自世界各地的參賽隊伍共有2000多隊。我們在比賽中設計的模型現在已被騰訊公司採納，作為他們微博名人推薦的主要演算法模型。我們的遷移學習方案是藉助QQ社交網絡中用戶的喜好發現更多具有相同興趣及背景的用戶，將發掘的這些用戶推薦給目標群體。現階段，我們的研究重點是如何實現中國古詩詞和中國古典音樂之間的知識遷移，這項工作是多學科，多領域融合，包括文學寫作，藝術和計算機科學。

　

楊強教授
香港科技大學
計算機科學及工程學系
qyang@ust.hk