杨强教授

在当下的资讯时代，数据的收集与应用已经融入我们的日常生活。每一天，GPS装置和智慧手机时刻采集着我们的位置资讯；网站记录着我们上网时的搜索，浏览和点击；网络媒体库保存着我们上传的每张相片。海量的信息记录、储存和处理都时刻发生在我们身边。当我们积存了如此巨大的资讯时，如何从中发掘出潜在的价值和模式就变得非常重要。以探索发现隐含资讯为目标的“数据挖掘”即是数据应用技术的研究。

本项目旨在研发一项全新的技术，希望这项技术能够借助多个不同资讯源之间数据的相关性，更有效地分析，挖掘有趣的模式和知识。迁移学习是模拟人类学习的自然规律。例如，当我们阅读过大量描述蝴蝶的文档(文字资讯源) 后，即有可能会从相关的图片中发现蝴蝶的新品种。人类认知和发现的能力可以看作是知识吸取和迁移的过程。又或是，了解国际象棋的游戏规则会帮助我们更加容易地学会下围棋；掌握C++的编程技术会加快我们学习JAVA的过程。以上这些都可以称作“多模态迁移学习”模型在日常生活的实例。多模态迁移学习也是一种学习方法，它是将知识从一种形式(或某个领域) 迁移到其他相关的形式 (领域) 当中。当我们阅读文字的时候，我们会在大脑中绘出文字对应的场景或者图片，这个过程能够帮助我们识别图片中的物体。应用多模态迁移学习的优点还在于，识别新的场景和物体时，无需重新构建模型，节省了时间和加快数据的获取。

在数据挖掘研究中，数据用特征空间来表示数据。不同领域的数据，特征空间也有不同的描述方式。例如，图片形式的数据使用图元，线条等特征来描述；文字形式的数据使用字元，短语等特征来描述。多模态迁移学习是将从某一领域学习到的知识迁移到另一种全新的，较复杂的领域中来帮助这一领域的学习。

在多模态迁移学习的研究中，最主要的难题在于不同模态数据之间的特征空间和数据分布的不同。这两项假设往往与现实应用的场景背道而驰。为解决这一难题，我们研究了一种新颖独到的多模态迁移学习方法。这一方法简单来说，在两个相关的特征空间之间构建一个映射，让知识通过映射迁移到目标数据。具体而言，对于特征空间的不同，我们尝试搜寻丰富的网络资源，例如维基百科或Flickr，借用图片和相关的标签信息搭建两个特征空间之间的“桥梁”。而对于数据分布的不同，我们采取资讯过滤器来把两个学习领域之间的差异最小化。

　

我们的工作取得了令人瞩目的研究成果。2010年，麻省理工《科技创业》杂志报导了我们在广告应用领域作出的有关多模态迁移学习的研究工作。在这研究工作中，首先由用户输入一张图片。接下来，我们所研发的系统 (称作ViCAD) 将会把与输入图片有相似语义资讯的图片以及文本文字呈现给用户。同时，广告也会包含在这些返回结果中。从搜索引擎公司的角度来看，这无疑会带来经济效益的提升。按照我们的研究思路，搜索引擎完全可以通过多模态迁移学习的方法学习出文本和图片之间的映射。


参与第18 届知识发现和数据挖掘国际会议

ViCAD项目的成功激励我们继续探索多模态迁移学习在图片分类上的可行性。普遍地，构建一个好的图片分类器需要标记充足的数据。事实上，标记数据不足和难以获取一直是困扰图片分类器性能的大问题。但是，我们提出的多模态迁移学习能够借助文本资讯来帮助提升图片分类的精度。我们有一篇相关的研究论文被AAAI'11会议收录，论文中，我们不仅能够使用一些没有标记的图片，还能使用没有标记的文本，来帮助目标图片的分类。在这个问题中，带有标签的图片发挥了类似桥梁的作用，这些标签可以把文本中的分类资讯传递到图片上。通过在Caltech-256数据集(普遍用于图片分类的数据集) 的大量实验，我们发现在构建的二类分类问题中，我们的方法在“阅读”200个文本后就会有百分之十的准确率提高。从广义上讲，多模态迁移学习在图片分类的应用也为图片和文本之间的联系提供了更深的理解，并且可以启发它们之间的其他应用。

除此之外，我们在知名的国际大型数据挖掘比赛中也取得了斐然的成绩。2011年的ACM KDDCUP数据挖掘比赛中，我们和一些内地学生组建的参赛队伍获得了第三名。这次比赛的任务是雅虎音乐推荐，据统计，来自世界各地的参赛队伍共有2000多队。我们在比赛中设计的模型现在已被腾讯公司采纳，作为他们微博名人推荐的主要演算法模型。我们的迁移学习方案是藉助QQ社交网络中用户的喜好发现更多具有相同兴趣及背景的用户，将发掘的这些用户推荐给目标群体。现阶段，我们的研究重点是如何实现中国古诗词和中国古典音乐之间的知识迁移，这项工作是多学科，多领域融合，包括文学写作，艺术和计算机科学。

　

杨强教授
香港科技大学
计算机科学及工程学系
qyang@ust.hk