个人简介
庄越挺是浙江大学计算机学院教授，国家杰出青年科学基金获得者（2005年）、“百千万人才工程”国家级人选者（2006年）、教育部长江学者特聘教授（第十批，2008年）、浙江省特级专家（2014年）、973首席科学家（2011年）、享受国家政府特殊津贴（2000年）、浙江省有突出贡献中青年专家（2013年）、浙江省“151人才工程”第一层次培养人员（2000年），教育部“网络多媒体智能信息处理技术”创新团队带头人。
于1986年,1989年,1998年在浙江大学计算机系分别获得学士、硕士和计算机应用博士学位。1997年2月至1998年8月获包氏奖学金，赴美国伊利诺斯大学（UIUC）的计算机系和Beckman研究所做访问学者，师从美国工程院院士Thomas S.Huang教授。
曾获国家科技进步二等奖3次(1993年，2005年，2010年)、浙江省自然科学奖一等奖1次(2015年)、浙江省科技进步一等奖2次(2003年，2007年)。
主要从事跨媒体、人工智能、计算机动画、数字图书馆等领域研究，取得了突出的创新成果，在国际权威期刊以及顶级学术会议发表论文100余篇。作为技术总负责人完成的“大学数字图书馆国际合作计划（CADAL），成功结合了跨媒体、AI、大数据处理技术，建成了具有250万册数字资源的全球最大公益性数字图书馆，产生了很大的国际影响力。
作为项目负责人，先后主持了跨媒体计算领域基础研究、核心技术和支撑示范的项目，如基础理论项目为“环境/场景适应的跨媒体综合推理”（国家自然科学基金人工智能基础研究应急管理项目，2018.1-2020.12,编号：61751209）、“面向互联网的跨媒体挖掘与搜索引擎”(国家自然科学基金重大研究计划重点支持项目，2010.1-2013.12，编号：90920303）；核心技术项目为“跨媒体海量信息融合与智能内容搜索引擎产品开发”（863重点项目课题，2007.12-2010.11月，编号：2006AA010107）、973项目“面向公共安全的跨媒体计算理论与方法”(国家重点基础研究发展计划973计划项目,2012.1-2016.12，项目编号2012CB316400）。
作为团队负责人，开展与著名IT企业的科研合作，探索科研成果产业化的途径，先后与浙大网新、科大讯飞、同盾科技、拍拍贷(信也)等建立了合作研究中心。
目前，作为项目负责人和首席科学家，正在承担国家科技创新2030-新一代人工智能重大项目“可泛化的领域知识学习与计算引擎”项目，该项目面向跨界融合新业态与知识创新服务需求，拟攻克大规模、综合性知识中心建立所需要的关键技术，建立融合数据、算法与人类智慧，协同一体的大规模分布式知识计算引擎，并在2个知识密集型领域进行服务验证。
目前，担任浙江大学教育部人工智能协同创新中心主任。该中心作为浙江大学正在实施的“双脑计划”的一'脑'(http://www.innovation2030.zju.edu.cn/21963/list.htm)，旨在以学科交叉为抓手，利用浙江大学的学科综合优势，致力于推动浙江大学在“人工智能+X”方向的发展，已经在“AI+金融”、“AI+药学”、“AI+法学”、“AI+设计”、“AI+教育”等方面布局，并开始了博士研究生的培养。在“AI+经济”方面，成立了“产业链大数据智能应用分中心”。
最近的有关学术活动链接：
http://www.zju.edu.cn/2019/1224/c32862a1872586/page.htm
https://mp.weixin.qq.com/s/giZOrAi9bxAIIj-huHfgkw
http://www.zju.edu.cn/2018/1008/c547a853928/page.htm（浙江大学视频新闻）
https://mepaper.zjol.com.cn/szb/zjrb_hd_news.html?theDate=2018-12-07&link_text=content_3186503.htm?div=-1&from=singlemessage&isappinstalled=0
http://www.ce.cn/xwzx/gnsz/gdxw/201811/21/t20181121_30834037.shtml
http://www.sohu.com/a/271214259_675920
http://www.intsci.ac.cn/iip2018/speaker.jsp
https://www.hikvision.com/cn/news_detail_63_i2500.html
http://software.it168.com/a2017/0911/3169/000003169939.shtml
http://www.view.sdu.edu.cn/info/1021/96133.htm
http://www.takefoto.cn/viewnews-1491123.html
http://www.sohu.com/a/233746158_204551
http://www.ruanwenclass.com/thread-7355-1.html
教学工作
从2011年开始至今，每年春季学期为本科生讲授《数据库系统》(Database Systems)课程。
采用的教材：“Database System Concepts”,6th edition,by Abraham Silberschatz,Henry Korth,S.Sudarshan,McGraw-Hill Companies Inc.,2011.
曾经讲授过的课程有：
1.学科前沿与技术研讨（合讲）（本科生）
2.计算机科学前沿（博士研究生）
3.计算机图形学与CAD方法（硕士研究生）
4.学科前沿与技术研讨（混合班）
工作研究项目
1、国家自然科学基金人工智能基础研究应急管理项目，61751209，“环境/场景适应的跨媒体综合推理”，2018.1~2020.12，在研，项目负责人。
2、中国工程院，中国工程科技知识中心关键技术研究，2013.1~2018.12，在研，主持。
3、国家重点基础研究发展计划（973）项目，2012CB316400，面向公共安全的跨媒体计算理论与方法，2012.1~2016.8，已结题（优秀），973项目首席科学家。
4、核高基重大专项，2010ZX01042-002-003，非结构化数据管理系统，2010.1~2014.12，已结题，项目负责人。
5、国家自然科学基金重大研究计划重点支持项目，90920303，面向互联网的跨媒体挖掘与搜索引擎，2010.1~2013.12，项目负责人。
6、863重点项目课题，“跨媒体海量信息融合与智能内容搜索引擎产品开发”，2007年12月-2010年11月，项目负责人。
7、教育部长江学者和创新团队发展计划资助，“网络多媒体智能信息处理技术”，项目负责人，2007.1～2009.12
8、国家杰出青年科学基金，“可视媒体的融合与数字角色的生成研究”，项目负责人，2006.1～2009.12。
9、国家自然科学基金，“基于媒体交叉参照的多媒体文档检索机制的研究”(编号：60272031)，项目负责人，2003.1~2005.12。
10、浙江省自然科学重点重大项目，“基于视频流的人体运动跟踪、识别和智能角色再生”（编号：ZD0212），项目负责人，2003.1~2005.12。
11、973项目子课题，“虚拟环境的统一信息表示理论与高效构建方法”，主要参加人，2003年1月至2007年12月。
12、863项目子课题，“森林资源遥感监测数据的预处理和后处理子系统”，项目负责人，2003年1月至2005年12月。
13、航天支撑技术基金，“复杂环境多源数据实时融合处理与场景模拟”（编号：2001-HT-ZJDX），项目负责人，2002.6~2004.5。
14、国家自然科学基金，“基于内容的WEB视频检索关键技术的研究”（编号：69803009），项目负责人，1999.1~2001.12。
15、教育部高等学校博士学科点专项科研基金，“通用型集成式视频检索技术的研究”（编号：20010335049），项目负责人，2002.1~2004.12。
16、教育部优秀年轻教师基金，“视频的语义过滤及索引”，项目负责人，2000.1~2002.12。
17、高等学校骨干教师资助计划项目，“基于视频流的人体动画生成技术”,2000.1~2001.12。
18、国家计委重大项目之专题三,“产品形状方案设计系统”，项目负责人，1998.12~2001.7。（国家计委（1998）2077号文件）
19、国家“七五”重点攻关项目，“天马专家系统开发环境”(合作)，主要研制者，1987~1990年。
20、国家自然科学基金重点项目，“面向智能计算系统的记忆与思维的研究”(编号：69233010)，主要研制者，1994~1996年。
21、美国NSF资助项目，“多媒体分析与检索系统(MARS)”及“基于WEB的多媒体信息检索(Web-MARS)”,主要参加者，UIUC，1997年-1998年（留美期间参加的科研项目）。
科研
1、从多媒体到跨媒体计算的研究
【背景介绍】
如何对海量的图像、视频、音频和图形等网络多媒体数据进行分析与检索，从上世纪90年代开始，成为国内外的研究焦点，是新一代搜索引擎、海量多媒体系统（如数字图书馆）等的主要研究目标。
庄越挺从96年开始进行多媒体信息分析与检索的研究，成果卓著。如他提出的“非监督聚类视频关键帧提取算法”（Adaptive Key Frame Extraction Using Unsupervised Clustering，ICIP’1998）被认为是该领域经典算法之一而被国际学术同行广泛引用（Google Scholar引用665次）。
2004年开始进行“跨媒体计算”的研究。他作为首席科学家主持完成了973项目“面向公共安全的跨媒体计算理论与方法”。在多媒体领域顶级会议ACM Multimedia上2次组织跨媒体计算专题论坛（2013&2017），推进跨媒体计算在国际上的影响力。
在跨媒体表达建模、语义学习、挖掘推理等核心问题发表了50多篇高水平研究论文。获得浙江省自然科学奖一等奖（2015，排名1）。
2017年7月20日，“跨媒体人工智能”被列入国务院印发的《新一代人工智能发展规划》之中，已成为新一代人工智能的一大研究方向。
传统多媒体的研究，普遍是针对单一类型的媒体分析与检索，但是难以实现从一种类型媒体检索另一类型的媒体。跨媒体计算的核心是：通过学习和推理，实现从一种类型媒体到另外一种类型媒体的跨越。
为了实现媒体之间的“跨”，庄越挺教授的研究中涉及的媒体涵盖了网页、文档、视频、音频、图像、图形、运动数据（MoCap）、动画等等。
image.png
image.png image.png
已发表的代表性工作有：
1、多媒体文档到语义的'跨越'：
Improving Web-based Learning:Automatic Annotation of Multimedia Semantics and Cross-media Indexing,Proceedings of 3rd International Conference on Web-based Learning,China,2004,256-262
2、从图像到语义
Web and Personal Image Annotation by Mining Label Correlation With Relaxed Visual Graph Embedding,IEEE Transactions on Image Processing,2012,21(3):1339-135
3、音频和视频间的互相“跨越”：（即给定一段音频，可以检索出“视频”；反义类似）
Cross-modal Correlation Learning for Clustering on Image-Audio Dataset.ACM Multimedia Conference.Germany,2007.(EI Index)(top conference on Multimedia)
4、跨媒体模态互补和内容关联
A Multimedia Retrieval Framework Based on Semi-Supervised Ranking and Relevance Feedback,IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(4):723-742
5、跨媒体检索表示模型
Probabilistic Word Selection via Topic Modeling,IEEE Transactions on Knowledge and Data Engineering,2015,27(6):1643-1655
6、跨媒体度量学习
Supervised Coupled Dictionary Learning with Group Structures for Multi-modal Retrieval,Proceeding of the Twenty-Seventh Conference on Artificial Intelligence,2013(Oral Paper)
7、跨媒体排序学习
Joint Multilabel Classification with Community-Aware Label Graph Learning,IEEE Transactions on Image Processing,2016,25(1):484-493
8、跨媒体哈希索引
Sparse Multi-Modal Hashing,IEEE Transactions on Multimedia,2014,16(2):427-439
9、跨媒体内容合成
Sketch the Storyline with CHARCOAL:A Non-Parametric Approach,International Joint Conference on Artificial Intelligence,2015:3841-3848
【研究内容】
1、基于深度学习的多媒体语义挖掘与知识提取；
2、跨媒体的知识表达和建模；
3、跨媒体综合推理。
2、大数据智能和知识计算引擎
【背景介绍】
从数据到知识、再从知识到决策是实现大数据支撑下知识服务的主要途径。
大数据智能即是用AI技术对大数据进行分析，探析其隐含模式和规律的智能形态，实现从数据到知识（data to knowledge）、再从知识到决策(knowledge to decision)的过程。
从数据的性质看，建设知识中心所需的知识是高度结构化的，而分散在各工程科技领域的数据资源绝大部分属于非结构化数据。如何将无序繁杂的文本、图像、视频等原始的非结构化数据加工转化为有序、可用、标准的结构化知识是知识中心建设的核心问题。这个问题的解决，需要数据汇聚、知识加工、数据可视化等诸多关键技术的支撑。
涉及的技术，有：
1、自然语言处理（NLP）技术：提及检测；实体链接；关系发现等等
2、视觉对象识别技术：
3、跨媒体API：
课题组开发的KS-Studio作为一种知识计算引擎，是将非结构化数据转换为结构化知识及提供创新服务的一系列API和工具的集合。KS-Studio将涵盖从大数据到知识全过程中的核心功能，在知识深度计算基础上提供知识创新服务。目前KS-Studio支持从非结构化数据中识别概念、发现新实例与新关系，以构建完善知识库，具体包括实体检测、实体链接、属性填充、事件抽取、图像识别、图像文本描述生成以及跨媒体分析等API与工具。在这里，我们把人类社会中所描述的具体对象或概念称为实体。KS-Studio在对人类社会常识性实体的内涵和外延分析理解基础上，构建知识图谱，从而具备知识深度计算能力，以提供知识创新服务。
目前，KS-Studio的API分为自然语言APls、视觉API、跨媒体API三部分。
1、自然语言API：自然语言APl是能够帮助用户对文档进行分析，对知识进行加工，更加方便地理解到文档中的所涉及的实体（专有名词）、实体类别（如：人名、地名、机构名、疾病名称），以及关系定位等。对于一份非结构文档，自然语言API可以通过自动标引的方式将其转化为结构化知识，自动标引服务主要由以下三个功能级联的API构成：提及检测API、实体链接API、关系发现API。
例如，我们将一段生物医学领域论文的摘要输入到提及检测与实体链接APl中，这些API可以立刻输出得到该论文中的实体提及、实体提及在文本中所对应的位置以及名词所属类别。在检测中可能遇到一个名词指代不同语义，比如“癌”可能指向肺癌或者乳腺癌，在这种情况下，自然语言APl就可以帮助到我们将“癌”这一术语链接到最符合上下文意思的结果中。
对于关系发现API，我们以Drug-induced-Disease关系提取为例：
将文本输入关系发现API，API在输入文本中发现了药物名词“Phenobarbital（镇静安眠剂）”与疾病名称“dyskinesia（苯巴比妥造成运动障碍）”基础上，进一步挖掘这一对名词存在Drug-induced-Disease关系。
自然语言APl可以很好地扩展已有知识库，打通不同知识库之间联系。目前KS-Studio的实体链接APl，已可将检测出来的实体链接到MeSH（医学主题词表）、ChEBI（生物化学实体本体）和Wikipedia（维基百科）三个知识库中，以丰富对所检测实体的深度理解。
2、视觉API：
视觉对象识别是图像语义理解的基础。KS-Studio的视觉API目前支持对图像语义内容的概念识别，如输入一张图片，自动识别图像中出现的主要实体对象，给出相应的文本标签与确信度。
这里我们以昆虫照片的检测为例。当输入这张图片后，系统分析得知该图像中昆虫可能属于蟑螂、蟋蟀、蚱蜢、叶蝉等概念，并且给出这些概念在图像中的概率，如发现这个昆虫有97%的概率是蟑螂；3%的概率是蟋蟀。在粗粒度概念识别基础上，进一步对所识别概念进行细粒度检测，细粒度识别显示这个昆虫84%概率是德国小蠊蟑螂、12%概率是本土蟑螂、3%概率是美国蟑螂。
KS-Studio目前的视觉API可完成部分工程科技领域图像内容的识别，帮助我们进行更有效的资源管理与基于内容的图像分类，除此之外，此类知识服务还可用于某些特定的应用领域。例如在海关等检验检疫部门，可对现场拍摄的动植物照片进行分析，快速准确地判断出生物的种类并获取相关知识，帮助相关部门合理处置这类生物，从而避免外来生物入侵事件的发生。
3、跨媒体API：
KS-Studio目前也正在整合跨媒体计算的技术，目前提供了图文描述生成API服务，即从给定一张图像后，算法自动生成该图像的文本描述。通过我们提供的跨媒体API（Cross-media Application Programming Interface），我们可以产生给定图像的文字描述。跨媒体处理工具能够识别给定图像中的物体及其相互关联，其输出为能够描述图像的一些语句，进而实现从视觉图像到自然语言的跨媒体无缝转换。
例如，当我们上传一张图片后，系统将会自动识别出这张图片中的小男孩、足球、草地等元素，并且捕捉到小男孩踢球的动作，进而生成一系列该图像的描述语句，并最终输出契合度最高的五条语句。这些句子是由系统自动生成的，而并非从现有的文本中检索出来。
我们可以用它来处理海量的图像数据，为它们批量生成对应的自然语言描述，从而提高图像标注的智能化水平，大大减少图像标注处理所需的时间和精力。
已发表的代表性工作有：
1、AI2.0从数据到知识的挑战和机遇
Zhuang,Yue-ting;Wu,Fei;Chen,Chun;Pan,Yun-he
Challenges and opportunities:from big data to knowledge in AI 2.0
Frontiers of Information Technology&Electronic Engineering,2017.1,18(1):3~14
2、实体提及
Hongliang Dai,Siliang Tang,Fei Wu,and Yueting Zhuang
Entity Mention Aware Document Representation
Information Sciences 430,216-227,(2018).
3、多模态深度嵌入
Yueting Zhuang;Jun Song;Fei Wu;Xi Li;Zhongfei Zhang;Yong Rui
Multimodal Deep Embedding via Hierarchical Grounded Compositional Semantics
IEEE Transactions on Circuits and Systems for Video Technology,2018.1,28(1):76~89
【研究内容】
1、从非结构化向结构化的转换；
2、跨媒体知识图谱的构建：大数据来源异构，呈现跨媒体特征；
3、数据驱动和知识引导结合的深度学习模型和推理机制；
4、问答系统QA和VQA；
5、注意力引导下的数据与记忆双向驱动推理机制。
image.png
3、数字图书馆和知识中心
【背景介绍】
作为技术总负责人领衔浙大的科研团队，自2001年开始，历时10年，建设完成了250多万册中英文图书的数字化，建成国际上最大的公益性数字图书馆--“大学数字图书馆国际合作计划（CADAL）”，受益者遍布80余个国家和地区，日访问书页量达50万。成果获得了国家科技进步二等奖（2010，排名1）。
2012年开始，庄越挺作为中国工程科技知识中心项目关键技术研发的总体负责人，主持了用于非结构化知识加工的KS-Studio工具集的研发，其中的实体检测、实体链接、知识图谱构建等多项关键技术在国际知识库构建大赛（TAC KBP）的多项技术指标上多次排名第一。在他带领下的研究团队及成果得到联合国教科文组织总干事博科娃女士等的充分肯定，为2014年中国工程院正式获批“国际工程科技知识中心”（UNESCO下设的二级组织）做出了贡献。
【研究内容】
1、大数据计算平台；
2、基于数字图书馆的数字人文的研究：如文学编年史、中国书法、中国美术等等；
专利成果
1、庄越挺、吴飞、李玺、王彦斐、宋骏，一种基于主题模型的跨模态检索方法，授权专利号：CN201410532057，2017.6.23中国
2、庄越挺、吴飞、高海东，一种基于概率单词选择和监督主题模型的文本分类方法，授权专利号：ZL201310410657，2017.1.25中国
3、鲁伟明;蒋静远;魏宝刚;庄越挺,一种非结构化数据多存储系统中同步数据的方法,2015.3.27,中国,CN201510137871.2
4、张引;魏宝刚;庄越挺;凌超;申晨;张月娇,一种基于LDA和VSM的中草药相似文献的推荐方法,2014.2.11,中国,CN201410046769.7
5、汤斯亮;邵健;方晗吟;吴飞;庄越挺,基于隐结构学习的图像摘要生成方法,2013.9.10,中国,CN201310410623.1
6、鲁伟明;张萌;魏宝刚;庄越挺,一种基于图书目录的知识图谱的构建方法http://isisn.nsfc.gov.cn/egrantres/images/product/outline-import.png,2014.10.10,中国,ZL201410532084.3
7、肖俊;李潘;庄越挺,一种基于运动历史图与R变换的人体行为识别方法http://isisn.nsfc.gov.cn/egrantres/images/product/outline-import.png,2013.9.10,中国,ZL201310410565.2
8、汤斯亮;张寅;王翰琪;鲁伟明;吴飞;庄越挺,一种基于选择单元的主题建模方法http://isisn.nsfc.gov.cn/egrantres/images/product/outline-import.png,2013.9.10,中国,ZL201310410588.3
9、庄越挺;吴飞;王彦斐;汤斯亮;邵健,一种可直接度量不同模态数据间相似性的跨模态检索方法,2013.9.10,中国,ZL201310410553.X
10、肖俊;林海;庄越挺,一种基于关键标记点的人体姿态稀疏重建方法,2013.2.2,中国,CN201310047891.1
11、张引;魏宝刚;庄越挺;申晨;王李东;凌超,一种基于概率主题模型的相似中药检索方法,2013.3.8,中国,CN201310074221.9
12、肖俊;刘彬;庄越挺,基于相关性几何特征的运动相似性评估方法,2013.3.15,中国,CN201310084753.0
13、庄越挺;吴江琴;毛天骄;高鹏程;林媛;夏洋,基于相似性敏感编码的书法字书体识别方法,2013.3.28,中国,CN201310106771.4
14、肖俊;林云;庄越挺,一种基于手绘图的三维模型检索的方法,2013.3.19,中国,CN201310089346.9
15、庄越挺;吴飞;高海东,一种基于概率单词选择和监督主题模型的文本分类方法,2013.9.10,中国,CN201310410657.0
16、张寅;汤斯亮;谭谞;邵健;吴飞;庄越挺,基于最大间隔张量学习的高维多媒体数据分类方法,2013.9.10,中国,CN201310410604.9
17、肖俊;冯银付;庄越挺;计明明,保持时序平稳与低秩结构特性的三维人体运动数据补全方法,2013.11.11,中国,CN201310558212.7
18、鲁伟明;杨善松;魏宝刚;庄越挺,图书交叉阅读方法,2013.11.22,中国,CN201310601627.8
19、肖俊;杨子坤;庄越挺,一种三维人体姿态投影的特征提取方法,2014.2.26,中国,CN201410064670.X
20、鲁伟明;安文佳;吴江琴;庄越挺,基于图书阅读行为的图书章节摘要生成方法,2014.3.12,中国,CN201410090143.6
21、张寅;王宇奇;伊灯;庄越挺;魏宝刚,一种基于聚类的增量数字图书推荐方法,2014.3.13,中国,CN201410090123.9
22、吴飞;鲁伟明;卢鑫炎;王东辉;汤斯亮;邵健;庄越挺,一种基于深度神经网络的跨媒体排序方法,2014.10.10,中国,CN201410531101.1
23、汤斯亮;吴飞;余宙;邵健;庄越挺,一种基于神经网络的跨媒体哈希索引方法,2014.10.10,中国,CN201410531086.0
24、汤斯亮;邵健;王翰琪;吴飞;庄越挺,一种基于主题建模的多粒度情感分析方法,2014.12.12,中国,CN201410766559.5
25、庄越挺;吴飞;李玺;王彦斐;宋骏,一种基于主题模型的跨模态检索方法,2014.10.10,中国,CN201410532057.6
26、吴飞;李玺;蒋忻洋;汤斯亮;邵健;庄越挺,一种基于多模态隐性耦合表达的跨媒体排序方法,2014.10.29,中国,CN201410593006.4
27、汤斯亮;吴飞;李斯;鲁伟明;邵健;庄越挺,一种基于混合距离依赖中餐馆过程的层次化主题建模方法,2014.11.28,中国,CN201410706246.0
28、鲁伟明;李戈;吴江琴;庄越挺,基于近邻传播模型从图书目录中学习层次结构的方法,2015.1.30,中国,CN201510050439.X
29、张引;魏宝刚;庄越挺;黎磊;姚亮,一种基于词向量发现单味药与疾病之间的治疗关系的方法,2015.1.20,中国,CN201510027487.7
30、庄越挺、王玉顺、肖俊、吴飞，一种基于区域分割和分段学习的三维人脸动画制作的方法，ZL200810059126.0
31、庄越挺、肖俊、陈成、吴飞，基于快速图像配准的视角变化条件下视频前景提取方法，ZL200810059124.1
32、庄越挺、肖俊、张剑、吴飞，一种基于模板匹配的视点无关的人体动作识别方法，ZL200810059129.4
33、庄越挺、梁璋、肖俊、吴飞、张剑，基于自然视频的实时智能监控方法，ZL200810062483.2
34、庄越挺、吴飞、徐劼、郭同强、蔡胜渊，基于三角形约束的误差控制的图像匹配传播方法，ZL200810063009.1
35、庄越挺，吴飞，韩亚洪，一种基于图像和文本相关性挖掘的Web图像聚类方法，ZL200910100071.8
36、吴飞、庄越挺、徐俊、陈铭，一种基于加权采样的图像特征点匹配方法，ZL200810063012.3
37、吴飞、庄越挺、刘亚楠、郭同强，基于张量表示的多模态视频语义概念检测方法，ZL200810059125.6
出版著作
著作：
1、A Modern Approach to Intelligent Animation:Theory and Practice,Yueting Zhuang,Yunhe Pan,Jun Xiao,by New York:Springer&Zhejiang University Press,2007.310 pp.ISBN:3540737596(hbk)
2、《网上多媒体信息分析与检索》(Web-based Multimedia Information Analysis and Retrieval),庄越挺潘云鹤吴飞编著清华大学出版社，2002年9月出版
image.png
3、《数字图书馆：信息的全面访问》，2005年
4、《人工智能游戏编程真言》,(美)Steve Rabin主编，庄越挺吴飞译，2005年1月，清华大学出版社
5、《娱乐中的人工智能》,潘云鹤，庄越挺主编，浙江大学出版社，2004年9月
6、Advances in Multimedia Information Processing,LNCS 4261,Yueting Zhuang,Shiqiang Yang,Yong Rui,Qinming He(Eds.)Springer(7th Pacific Rim Conference on Multimedia Hangzhou,China,2006 Proceedings)
7、人工智能(Artificial Intelligence:a new synthesis)(美)Nils.J.Nilsson,郑扣根，庄越挺译，机械工业出版社，2000-10-10
章节:
1.Qing Li,Jun Yang,Yueting Zhuang,Multimedia Information Retrieval,Encyclopedia of Multimedia Technology and Network,Volume II,Published by Idea Group,Margherita Pagani(eds.).
2.Qing Li,Jun Yang,Yueting Zhuang,Chapter 9:A Semantic Data Modeling Mechanism for Multimedia Databases,Multimedia information retrieval and management:technological fundamentals and applications,David Dagan Feng,Wan-Chi Siu,Hong-Jiang Zhang(eds.).Springer,c2003.
奖励荣誉
【科技奖】
1、庄越挺、吴飞、潘云鹤等，“跨媒体计算理论与方法”，获得2015年度浙江省自然科学一等奖；
2、庄越挺、潘云鹤、高文等，“百万册数字图书馆的多媒体技术和智能服务系统”，获得2010年国家科学技术进步二等奖；
3、庄越挺、潘云鹤等，“百万册图书数字化多媒体技术的研究”，获得2009年浙江省科技进步一等奖；
4、庄越挺（第4完成人），“计算机辅助产品创新设计的技术与系统”，获得2004年度国家科技进步二等奖；
5、庄越挺，潘云鹤等，“多媒体分析与检索技术与系统”，获2004年浙江省科学技术奖二等奖；
6、庄越挺（第六完成人），'《天马》通用型集成式专家系统开发环境'，获得1993年国家科技进步二等奖；
7、庄越挺（第六完成人），“计算机类本科工程型、复合型、国际化人才培养模式的探索与实践”，获得2009年国家教学成果二等奖。
【荣誉】
1、2014年，入选浙江省特级专家；
2、2008年，入选教育部长江学者特聘教授；
3、2006年，入选“新世纪百千万人才工程”国家级人才（国家人事部、科技部、教育部等七部委联合）；
4、2005年，获国家杰出青年科学基金；
5、2002年，获首届“浙江大学良师益友”称号（全校研究生自由评选）；
6、2001年，获国家政府特殊津贴；
7、2000年，获“中创软件人才奖”（全国共四名）
实验室介绍
实验室网站，点击访问：DCD(Digital media Computing&Design lab)
浙江大学计算机学院数字媒体计算与设计实验室（Digital media Computing&Design Lab，简称为DCD）：初建于1998年。团队围绕跨媒体计算、人工智能、大数据理论与应用三大方向，以合作承担国家重大(重点)项目为契机，历经将近20年建设，形成了优秀研究群体。团队核心成员以中青年人才为主体，年富力强，开拓创新，他们都活跃在教学科研第一线，拥有深厚理论功底和丰富科研经验，具有以国际学科前沿、国家需求和实际应用为导向的社会责任感，也具有充沛时间和精力完成好本团队科研任务。团队研究具有明显跨学科和交叉特色，为研究内容顺利实施奠定了学科交叉人才基础。
实验室学术带头人为潘云鹤教授（中国工程院院士，中国工程院原常务副院长，计算机学院教授）和庄越挺教授（博导，教育部长江特聘教授，国家杰出青年基金获得者，浙江省特级专家，浙江大学计算机学院前院长）。
2015年，以庄越挺教授领衔的DCD导师组获得浙江大学第五届研究生“五好”导学团队荣誉称号。
近期论文
查看导师新发文章
（温馨提示：请注意重名现象，建议点开原文通过作者单位确认）
【2020年】
1. Wenqiao Zhang;Siliang Tang ;Yanpeng Cao ;Shiliang Pu ;Fei Wu ;Yueting Zhuang,Frame Augmented Alternating Attention Network for Video Question Answering.IEEE Transactions on Multimedia,Volume:22,Issue:4,April 2020.
2.Wei Ji;Xi Li;Lina Wei;Fei Wu;Yueting Zhuang,Context-Aware Graph Label Propagation Network for Saliency Detection,IEEE Transactions on Image ProcessingVolume:29,2020.
【2019年】
1.Lina Wei,Shanshan Zhao,Omar El Farouk Bourahla,Xi Li,Fei Wu,Yueting Zhuang:Deep Group-Wise Fully Convolutional Network for Co-Saliency Detection With Graph Propagation.IEEE Trans.Image Processing 28(10):5052-5063(2019).
2.Weike Jin,Zhou Zhao,Yimeng Li,Jie Li,Jun Xiao,Yueting Zhuang:Video Question Answering via Knowledge-based Progressive Spatial-Temporal Attention Network.TOMCCAP 15(2s):52:1-52:22(2019).
3.Xin Min,Wenqiao Zhang,Shouqian Sun,Nan Zhao,Siliang Tang,Yueting Zhuang:VPModel:High-Fidelity Product Simulation in a Virtual-Physical Environment.IEEE Trans.Vis.Comput.Graph. 25(11):3083-3093(2019).
4.Qi Zhang,Siliang Tang,Fei Wu,Siliang Pu,Yueting Zhuang,Xiang Ren,Posterior-regularized REINFORCE for Instance Selection in Distant Supervision,NAACL,Minnesota,USA.2019.
5.Bo Chen,Xiaotao Gu,Yufeng Hu,Siliang Tang,Yueting Zhuang,Xiang Ren.Improving Distantly-supervised Entity Typing with Compact Latent Space Clustering,NAACL,Minnesota,USA.2019.
6.Yujin Yuan,Liyuan Liu,Siliang Tang,Zhongfei Zhang,Yueting Zhuang,Fei Wu,Xiang Ren.Cross-relation Cross-bag Attention for Distantly-supervised Relation Extraction,AAAI,Honolulu,Hawaii,USA.2019.pp 419-426.
7.Zhou Yu,Dejing Xu,Jun Yu,Ting Yu,Zhou Zhao,Yueting Zhuang,Dacheng Tao,ActivityNet-QA:A Dataset for Understanding Complex Web Videos via Question Answering,AAAI,Honolulu,Hawaii,USA.2019.
8.Yueyang Wang,Ziheng Duan,Binbing Liao,Fei Wu,Yueting Zhuang:Heterogeneous Attributed Network Embedding with Graph Convolutional Networks.AAAI 2019:10061-10062.
9.Sheng Lin,Luye Zheng,Bo Chen,Siliang Tang,Zhigang Chen,Guoping Hu,Yueting Zhuang,Fei Wu,Xiang Ren:KCAT:A Knowledge-Constraint Typing Annotation Tool.ACL (3)2019:99-104.
10.Dejing Xu,Jun Xiao,Zhou Zhao,Jian Shao,Di Xie,Yueting Zhuang:Self-Supervised Spatiotemporal Learning via Video Clip Order Prediction.CVPR 2019:10334-10343.
11.Yutong Wang,Jiyuan Zheng,Qijiong Liu,Zhou Zhao,Jun Xiao,Yueting Zhuang:Weak Supervision Enhanced Generative Network for Question Generation.IJCAI 2019:3806-3812.
12.Xufeng Qian,Yueting Zhuang,Yimeng Li,Shaoning Xiao,Shiliang Pu,Jun Xiao:Video Relation Detection with Spatio-Temporal Graph.ACM Multimedia 2019:84-93.
13.Weike Jin,Zhou Zhao,Mao Gu,Jun Yu,Jun Xiao,Yueting Zhuang:Multi-interaction Network with Object Relation for Video Question Answering.ACM Multimedia 2019:1193-1201.
14.Juncheng Li,Siliang Tang,Fei Wu,Yueting Zhuang:Walking with MIND:Mental Imagery eNhanceD Embodied QA.ACM Multimedia 2019:1211-1219.
15.Jiacheng Li,Haizhou Shi,Siliang Tang,Fei Wu,Yueting Zhuang:Informative Visual Storytelling with Cross-modal Rules.ACM Multimedia 2019:2314-2322.
16.Qi Zhang,Siliang Tang,Xiang Ren,Fei Wu,Shiliang Pu,Yueting Zhuang:Posterior-regularized REINFORCE for Instance Selection in Distant Supervision.NAACL-HLT (1)2019:2831-2835.
17.Weike Jin,Zhou Zhao,Mao Gu,Jun Yu,Jun Xiao,Yueting Zhuang:Video Dialog via Multi-Grained Convolutional Self-Attention Context Networks.SIGIR 2019:465-474.
18.Ziqiang Cheng,Yang Yang,Chenhao Tan,Denny Cheng,Alex Cheng,Yueting Zhuang:What Makes a Good Team?A Large-scale Study on the Effect of Team Composition in Honor of Kings.WWW 2019:2666-2672.
19.庄越挺，汤斯亮，探索可解释的人工智能推理，《中国人工智能学会通讯》，2019年第01期，p6~8.
【2018年】
Yueting Zhuang;Jun Song;Fei Wu;Xi Li;Zhongfei Zhang;Yong Rui；Multimodal Deep Embedding via Hierarchical Grounded Compositional Semantics，IEEE Transactions on Circuits and Systems for Video Technology,2018.1,28(1):76~89.
Wei Ji,Xi Li,Yueting Zhuang,Omar El Farouk Bourahla,Yixin Ji,Shihao Li,Jiabao Cui,Semantic Locality-Aware Deformable Network for Clothing Segmentation,IJCAI 2018,Main track.Pages 764-770.https://doi.org/10.24963/ijcai.2018/106 .
Liming Zhao,Mingjie Li,Depu Meng,Xi Li,Zhaoxiang Zhang,Yueting Zhuang,Zhuowen Tu,Jingdong Wang,Deep Convolutional Neural Networks with Merge-and-Run Mappings,IJCAI 2018,Main track.Pages 3170-3176.https://doi.org/10.24963/ijcai.2018/440.
Zhou Zhao,Lingtao Meng,Jun Xiao,Min Yang,Fei Wu,Deng Cai,Xiaofei He,Yueting Zhuang,Attentional Image Retweet Modeling via Multi-Faceted Ranking Network Learning,IJCAI 2018,Main track.Pages 3184-3190.https://doi.org/10.24963/ijcai.2018/442 .
Yuetan Lin,Zhangyang Pang,Donghui Wang,Yueting Zhuang,Feature Enhancement in Attention for Visual Question Answering,IJCAI 2018,Main track.Pages 4216-4222.https://doi.org/10.24963/ijcai.2018/586.
Songyang Zhang,Yang Yang,Jun Xiao,Xiaoming Liu,Yi Yang,Di Xie,Yueting Zhuang,Fusing Geometric Features for Skeleton-Based Action Recognition using Multilayer LSTM Networks,IEEE Trans.on MM,Sept.2018,Pages 2330-2343.
Hongliang Dai,Siliang Tang,Fei Wu,and Yueting Zhuang,Entity Mention Aware Document Representation,Information Sciences 430,216-227,(2018).
【2017年】
Zhuang,Yueting;Wang,Hanqi;Xiao,Jun;Wu,Fei;Yang,Yi;Lu,Weiming;Zhang,Zhongfei;Bag-of-Discriminative-Words(BoDW)Representation via Topic Modeling,
IEEE Transactions on Knowledge and Data Engineering,2017.5.1,29(5):977~990.
Zhuang,Yue-ting;Wu,Fei;Chen,Chun;Pan,Yun-he;Challenges and opportunities:from big data to knowledge in AI 2.0 ,Frontiers of Information Technology&Electronic Engineering,2017.1,18(1):3~14.
【2016年】：期刊论文
Zhuang,Yueting;Wang,Yaoguang;Shao,Jian;Chen,Ling;Lu,Weiming;Sun,Jianling;Wei,Baogang;Wu,Jiangqin;D-Ocean:an unstructured data management system for data ocean environment,Frontiers of Computer Science,2016.4,10(2):353~369.
Gan,Chuang;Yang,Yi;Zhu,Linchao;Zhao,Deli;Zhuang,Yueting;Recognizing an Action Using Its Name:A Knowledge-Based Approach,International Journal of Computer Vision,2016.10,120(1):61~77.
Li,Xi;Shen,Chunhua;Dick,Anthony;Zhang,Zhongfei(Mark);Zhuang,Yueting;Online Metric-Weighted Linear Representations for Robust Visual Tracking,IEEE Transactions on Pattern Analysis and Machine Intelligence,2016.5,38(5):931~950.
Zhao,Zhou;He,Xiaofei;Cai,Deng;Zhang,Lijun;Ng,Wilfred;Zhuang,Yueting;Graph Regularized Feature Selection with Data Reconstruction,IEEE Transactions on Knowledge and Data Engineering,2016.3.1,28(3):689~700.
Zhao,Zhou;Lu,Hanqing;Cai,Deng;He,Xiaofei;Zhuang,Yueting;User Preference Learning for Online Social Recommendation,IEEE Transactions on Knowledge and Data Engineering,2016.9.1,28(9):2522~2534.
Wang,Wei;Yang,Xiaoyan;Ooi,Beng Chin;Zhang,Dongxiang;Zhuang,Yueting;Effective deep learning-based multi-modal retrieval,VLDB Journal,2016.2,25(1):79~101.
Xiao,Jun;Feng,Yinfu;Ji,Mingming;Zhuang,Yueting;Fast view-based 3D model retrieval via unsupervised multiple feature fusion and online projection learning,Signal Processing,2016.3,120:702~713.
Wu F.;Fang H.;Li X.;Tang S.;Lu W.;Yang Y.;Zhu W.;Zhuang Y.;Aspect learning for multimedia summarization via nonparametric Bayesian,IEEE Transactions on Circuits and Systems for Video Technology,2016,26(10):1931~1942.
Li,Xi;Zhao,Xueyi;Zhang,Zhongfei;Wu,Fei;Zhuang,Yueting;Wang,Jingdong;Li,Xuelong;Joint Multilabel Classification With Community-Aware Label Graph Learning,IEEE Transactions on Image Processing,2016.1,25(1):484~493.
Wu,Fei;Lu,Xinyan;Song,Jun;Yan,Shuicheng;Zhang,Zhongfei(Mark);Rui,Yong;Zhuang,Yueting;Learning of Multimodal Representations With Random Walks on the Click Graph,IEEE Transactions on Image Processing,2016.2,25(2):630~642.
Li,Xi;Zhao,Liming;Wei,Lina;Yang,Ming-Hsuan;Wu,Fei;Zhuang,Yueting;Ling,Haibin;Wang,Jingdong;DeepSaliency:Multi-Task Deep Neural Network Model for Salient Object Detection,IEEE Transactions on Image Processing,2016.8,25(8):3919~3930.
Huang,Siyu;Li,Xi;Zhang,Zhongfei;He,Zhouzhou;Wu,Fei;Liu,Wei;Tang,Jinhui;Zhuang,Yueting;Deep Learning Driven Visual Path Prediction From a Single Image,IEEE Transactions on Image Processing,2016.12,25(12):5892~5904.
Zhao,Xueyi;Li,Xi;Zhang,Zhongfei;Shen,Chunhua;Zhuang,Yueting;Gao,Lixin;Li,Xuelong;Scalable Linear Visual Feature Learning via Online Parallel Nonnegative Matrix Factorization,IEEE Transactions on Neural Networks and Learning Systems,2016.12,27(12):2628~2642.
【2016年】：会议论文
Fang H.;Wu F.;Zhao Z.;Duan X.;Zhuang Y.;Ester M.;Community-Based question answering via heterogeneous social network learning,AAAI,2016,Pages 122-128.
Donghui Wang;Yanan Li;Yuetan Lin;Yueting Zhuang;Relational Knowledge Transfer for Zero-Shot Learning,AAAI,2016,Pages 2145-2151.
Pingbo Pan;Zhongwen Xu;Yi Yang;Fei Wu;Yueting Zhuang;Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning,CVPR,2016.
Te Pi;Xi Li;Zhongfei Zhang;Deyu Meng;Fei Wu;Jun Xiao;Yueting Zhuang;Self-Paced Boost Learning for Classification,IJCAI,2016.
Zhuhao Wang;Fei Wu;Weiming Lu;Jun Xiao;Xi Li;Zitong Zhang;Yueting Zhuang;Diverse Image Captioning via GroupTalk,IJCAI,2016.
Zhou Zhao;Qifan Yang;Deng Cai;Xiaofei He;Yueting Zhuang;Expert Finding for Community-Based Question Answering via Ranking Metric Network Learning,IJCAI,2016.
Kong D.;Wu F.;Tang S.;Zhuang Y.;Ad recommendation for sponsored search engine via composite long-short term memory,ACM Multimedia,2016,Pages 416-420.
Zhao Z.;Lu H.;Cai D.;He X.;Zhuang Y.;Partial multi-modal sparse coding via adaptive similarity structure regularization,ACM Multimedia,2016,Pages 152-156.
【2015年】：期刊论文
Zhuang,Yueting;Gao,Haidong;Wu,Fei;Tang,Siliang;Zhang,Yin;Zhang,Zhongfei;Probabilistic Word Selection via Topic Modeling,IEEE Transactions on Knowledge and Data Engineering,2015.6,27(6):1643~1655.
Fang,Hanyin;Lu,Weiming;Wu,Fei;Zhang,Yin;Shang,Xindi;Shao,Jian;Zhuang,Yueting;Topic aspect-oriented summarization via group selection,Neurocomputing,2015.2.3,149:1613~1619.
Ji,Mingming;Feng,Yinfu;Xiao,Jun;Zhuang,Yueting;Yang,Xiaosong;Zhang,Jian J.;Efficient semi-supervised multiple feature fusion with out-of-sample extension for 3D model retrieval,Neurocomputing,2015.12.2,169:23~33.
Feng,Yinfu;Xiao,Jun;Zhou,Kang;Zhuang,Yueting;A locally weighted sparse graph regularized Non-Negative Matrix Factorization method,Neurocomputing,2015.12.2,169:68~76.
Jiang,Xinyang;Wu,Fei;Zhang,Yin;Tang,Siliang;Lu,Weiming;Zhuang,Yueting;The classification of multi-modal data with hidden conditional random field,Pattern Recognition Letters,2015.1.1,51:63~69.
Xiao,Jun;Feng,Yinfu;Ji,Mingming;Yang,Xiaosong;Zhang,Jian J.;Zhuang,Yueting;Sparse motion bases selection for human motion denoising,Signal Processing,2015.5,110:108~122.
Tan,Xu;Wu,Fei;Li,Xi;Tang,Siliang;Lu,Weiming;Zhuang,Yueting;Structured Visual Feature Learning for Classification via Supervised Probabilistic Tensor Factorization,IEEE Transactions on Multimedia,2015.5,17(5):660~673.
Fei Wu;Zhuhao Wang;Zhongfei Zhang;Yi Yang;Jiebo Luo;Wenwu Zhu;Yueting Zhuang;Weakly Semi-Supervised Deep Learning for Multi-Label Image Annotation
IEEE Transactions of Big Data,2015,1(3):109~122.
Feng,Yinfu;Ji,Mingming;Xiao,Jun;Yang,Xiaosong;Zhang,Jian J.;Zhuang,Yueting;Li,Xuelong;Mining Spatial-Temporal Patterns and Structural Sparsity for Human Motion Data Denoising,IEEE Transactions on Cybernetics,2015.12,45(12):2693~2706.
Wu,Fei;Jiang,Xinyang;Li,Xi;Tang,Siliang;Lu,Weiming;Zhang,Zhongfei;Zhuang,Yueting;Cross-Modal Learning to Rank via Latent Joint Representation,IEEE Transactions on Image Processing,2015.5,24(5):1497~1509.
【2015年】：会议论文
Gan C.;Lin M.;Yang Y.;Zhuang Y.;Hauptmann A.G.;Exploring semantic inter-class relationships(SIR)for zero-shot action recognition,AAAI,2015.Pages 3769-3775.
Wu F.;Song J.;Yang Y.;Li X.;Zhang Z.;Zhuang Y.;Structured embedding via pairwise relations and long-range interactions in knowledge base,AAAI,2015.Pages 1663-1670.
Zhao L.;Li X.;Xiao J.;Wu F.;Zhuang Y.;Metric learning driven multi-task structured output optimization for robust keypoint tracking,AAAI,2015.Pages 3864-3870.
Tang S.;Wu F.;Li S.;Lu W.;Zhang Z.;Zhuang Y.;Sketch the storyline with CHARCOAL:A non-parametric approach,IJCAI,2015.Pages 3841-3848.
Zhao Z.;Song R.;Xie X.;He X.;Zhuang Y.;Mobile query recommendation via tensor function learning,IJCAI,2015.7.25-2015.7.31.
Jiang,Xinyang;Wu,Fei;Li,Xi;Zhao,Zhou;Lu,Weiming;Tang,Siliang;Zhuang,Yueting;Deep Compositional Cross-modal Learning to Rank via Local-Global Alignment,ACM Multimedia,Brisbane,AUSTRALIA,2015.Pages 69-78.
Chen,Ling;Shao,Jian;Yu,Zhou;Sun,Jianling;Wu,Fei;Zhuang,Yueting;RAISE:A Whole Process Modeling Method for Unstructured Data Management,BigMM,Beijing,PEOPLES R CHINA,2015-2015.
【2014年】
Yueting Zhuang;Zhou Yu;Wei Wang;Fei Wu;Siliang Tang;Jian Shao;Cross-Media Hashing with Neural Networks,ACM Multimedia,2014.Pages 901-904.
由于本系统对该栏目内容设置了字数限制，故，2014年之前的研究论文请点击下载如下pdf文件：
2014年及其之前-庄越挺论文清单.pdf
京公网安备 11010802027423号