School Colloquium——无监督深度学习

Date:2023-03-17

Speaker:Zhenyue Zhang (Zhejiang University)

Time:2023-03-17 15:00-16:00

Venue:Room 1114, Sciences Building No. 1

报告摘要:深度学习是一个强大的数据分析工具,已广泛用于人工智能和其他研究领域。深度学习借助于大量的样本,在设定的深度变换网络下,训练学习得到最理想的点对点的变换网络。因而常见的深度学习,实质是有监督的深度学习。无训练样本的深度学习,即无监督的深度学习还未有成功的发现。
本报告提出一个创新的无监督深度学习模型。从类一致领域、类一致信赖域估计、自适应谱投影三个方面入手,成功地构建了一个仅依赖两个参数的、非点对点的无监督学习基本框架。进而在多层训练框架下,以最小化类间连接度和最大化类内连接度为目标,自动学习最佳的深度网络。与传统的有监督深度学习相比,该无监督深度学习方法具有如下特点:
(1)只涉及少量参数,网络结构简单,学习代价低;
(2)采用非点对点的变换网络,具有比较强的稳定性;
(3)网络构建意图比较明确,有一定的可解释性;
(4)形式统一,适用于不同类型的数据。
在数据来源差异较大的多个数据集中,只需两层网络,该无监督深度学习方法能提供几乎完美的聚类结果。

 

个人简介:张振跃,浙江大学数学学院二级教授,博士生导师。1982年2月复旦大学数学系毕业后留校任职,1989年获复旦大学博士学位,随后入职浙江大学。2013年获浙江大学心平教学杰出贡献奖。主要从事数值代数、科学计算、机器学习和大数据分析等研究领域的模型与算法的理论分析与计算。在国际著名学术刊物SIAM Review、SIAM J. Scientific Computing、SIAM J. Matrix Analysis and Application、SIAM J Numerical Analysis、The Journal of American Statistical Association, IEEE Transactions on Pattern Analysis and Machine Intelligence、Journal of Machine Learning Research, Patten Recognition, 以及NIPS、CVPR等会议上发表高质量研究论文。张振跃教授是第一位在SIAM Review上发表研究论文的国内大陆学者。其关于非线性降维算法的工作,多年来一直列SIAM J. Scientific Computing 10年高引用率第4、5位;两个关于流形学习算法被国际机器学习中应用广泛的Scikit-Learn 中收录;在相关研究中取得了许多受国际关注的基础性、系统性、理论性的研究成果。