深度神经网络模型的落地进入了人工智能的深水区，尤其是大模型时代，如何在有限空间与算力的端侧设备上运行大模型，成为了学术界与企业界共同研究的热点问题。为此，中国图象图形学学会将于2023年10月21日-22日在北京举办第26期CSIG图像图形学科前沿讲习班，本期讲习班主题为“深度学习模型压缩与加速”，由北京航空航天大学刘祥龙教授担任学术主任，邀请领域内知名专家和杰出学者作报告，构建一个深度学习加速与压缩的沟通交流平台，使学员在了解学科热点、提高学术水平的同时，增近与领域内科研顶尖学者和企业创新人才之间的学术交流。
主办单位：中国图象图形学学会
承办单位：北京航空航天大学
协办单位：深蓝学院
学术主任
刘祥龙，北京航空航天大学教授，博士生导师，国家优秀青年科学基金获得者。现任北京航空航天大学计算机学院副院长、复杂关键软件环境全国重点实验室副主任，主要研究智能安全、开放认知。近年来，主持国家自然科学基金、国防科技创新重点项目、科技创新2030重大项目等多项国家课题；发表TPAMI、IJCV、ICML、NeurIPS、CVPR、USENIX Security等国际顶级期刊和会议100余篇。研究成果受到新华社、人民网等权威媒体和杂志关注。担任Pattern Recognition等SCI期刊编委，ACM MM、AAAI等国际会议领域主席。曾获省部级/学会科技奖一等奖2项、北京市科技新星、中国计算机学会优秀博士学位论文等。
特邀讲者
郭晋阳，北京航空航天大学人工智能研究院助理教授，硕士生导师。主要研究方向为轻量深度学习、边缘智能计算。近年来，主持国家自然科学基金青年基金、科技创新2030重大项目子课题等多个重点课题项目；发表TIP、CVPR等国际顶级期刊和会议论文20余篇。担任TPAMI、IJCV等国际顶级期刊审稿人与CVPR、ICCV等国际顶级会议程序委员会委员。荣获ICCV Doctoral Consortium、无人机视觉检测挑战赛全球亚军等荣誉奖项。作为专家组成员参与国内外标准制定2项，在国际会议上组织专题研讨会2次。研究成果被如普林斯顿大学等多所世界知名大学与机构关注，并被人工智能公开课平台“智东西公开课”专门报道。相关技术已在港中文-商汤Open-MM、亚马逊DGL、百度飞桨等多个开放平台中集成验证，并在商汤科技业务场景中上线应用。
报告题目：模型压缩与加速基础知识1
报告摘要：深度学习在计算机视觉、自然语言处理等领域取得了广泛的应用。然而，深度模型庞大的计算量以及存储需求限制了其应用场景。因此，模型压缩与加速成为了当前学术界和工业界关注的热点。此讲座将首先回顾深度学习的基础知识，包括卷积神经网络以及Transformer模型。随后，将会对模型压缩与加速方法进行简单分类，并介绍其中高效网络结构设计、剪枝、蒸馏的基础方法。最后将介绍近些年在模型压缩与加速中的前沿工作与成果。
王培松，中国科学院自动化研究所复杂系统认知与决策实验室副研究员，硕导。2013年在山东大学获得学士学位，2018年在中国科学院大学获得博士学位。目前主要从事高效智能计算、神经网络加速与压缩等方面的研究。在IEEE TPAMI、TNNLS、ICML、CVPR、ICCV、ECCV等国际期刊和会议发表论文40余篇。主持国家自然科学基金青年基金、中科院战略先导子课题，参与国家重点研发计划、基金重点、以及华为、阿里巴巴、三星等多项科研项目。曾获Nvidia奖学金、NeurIPS国际神经网络压缩竞赛MicroNet Challenge冠军，入选中科院特聘研究骨干、北京市科协青年人才托举工程、微软亚洲研究院“铸星计划”、CCF-百度松果基金学者等。
报告题目：模型压缩与加速基础知识2
报告摘要：近些年来，在深度学习推动下，人工智能步入新的发展阶段，并在计算机视觉、语音识别、自然语音处理等领域取得了很多令人瞩目的成果。大数据、深度学习、算力提升是促进本次人工智能发展浪潮的动力之一。然而，随着深度学习模型性能的提升，其计算复杂度也在不断增加，这就对深度学习模型运行效率提出了挑战，在这种条件下，深度学习模型压缩与加速成为人工智能在更大范围内应用落地的重要一环。针对神经网络的部署难题，本报告将重点从模型低秩分解、模型量化、网络架构搜索、模型训练加速等角度出发，详细介绍目前深度学习模型压缩与加速领域的基本研究内容与方法，并通过简单的示例和代表性工作介绍来展示不同算法的技术细节，帮助学员强化对模型压缩知识的理解和模型部署动手能力的提高。
吴建鑫，南京大学教授、博士生导师。主要从事计算机视觉和机器学习领域的研究，在人工智能重要期刊和会议如TPAMI、 JMLR、 ICCV、CVPR等发表论文六十余篇。担任国内外重要期刊TPAMI等的编委，担任CVPR 2024程序主席，多次担任重要国际会议CVPR、ICCV、AAAI、IJCAI等的资深领域主席、领域主席等。据Google Scholar统计，论文被60余个国家和地区的学者他引超过17000次。著有教材《Essentials of Pattern Recognition: An Accessible Approach》（2020年英国剑桥大学出版社出版），其中译本《模式识别》2020年由机械工业出版社出版。
报告题目：知识蒸馏与模型压缩：简单化与实用化
报告摘要：知识蒸馏是现代深度学习模型压缩必不可少的一个重要技术。然而，知识蒸馏在研究领域内呈现出复杂化的技术倾向，且在许多实际应用中受到较大的限制（如需要整个原始训练集中所有的训练数据与标签）。将分享我们将知识蒸馏与模型压缩简单化与实用化方面的一些思考，重点介绍feature mimicking、MiR、Practise等三个一脉相承的技术，并结合一些尚未正式发表的最新方法，介绍我们在知识蒸馏与模型压缩方面近期的一些进展。
张宝昌老师主要从事面向低功耗前端视觉感知研究，在IEEE 汇刊、CCF A 类期刊和会议发表论文90余 篇，IJCV 9篇，TPAMI 3篇，CVPR 20余篇，二值网络模型领域发表论文20余篇。2 篇入选热点论文和5篇入选高引论文，谷歌引用万余次，单篇一作论文谷歌引用近1300次。入选爱思唯尔(Elsevier)中国高被引学者，教育部新世纪优秀人才项目、深圳市海外高层次人才计划团队项目、百度深度学习实验室学术顾问、中关村国家实验室核心双聘人员，获得一级学会/省级自然科学奖4项（三项一等奖）和国际重要比赛第一名3项（ECCV和ICPR）。2021年春季应邀在美国布法罗大学开设了《边缘智能与计算》专题课程，并担任该校人工智能与数据科学研究院兼职教授。
报告题目：深度神经网络低比特量化技术
报告摘要：深度学习在解决实际问题中获得成功应用，但是其模型参数量大、功耗大，存在端侧设备上的部署应用难等瓶颈问题。为了解决相关问题，提出一系列二值卷积网络构建方法，构建了基于调制网络结构的二值网络模型，引入贝叶斯学习、协同梯度下降算法等方法，实现二值网络模型在目标检测任务上的无损压缩。Transformer是人工智能领域的里程碑方法，为了解决其在实际端侧部署难题，提出Q-VIT、Q-DETR以及在底层视觉任务上的量化方案，实现4-比特目标检测与识别任务上的无损压缩。在应用方面，搭建了智能相机实现了矿山、工业检测等领域应用。
龚睿昊，商汤科技研究副总监、模型工具链团队负责人。主要负责工业级模型工具链，包括大规模模型训练、多平台部署、模型压缩和软硬件协同技术体系通过算法和工具实现规模化工业落地，支持智慧城市、智能驾驶、AIOT、手机场景等大量业务模型的模型生产，团队支撑了商量等商汤大模型体系的底层技术搭建，致力于 ML+System 的综合效率提升。在 ICLR、NeuIPS、CVPR、ICCV、IJCV 等期刊会议发表二十余篇论文，多次获得低功耗计算机视觉比赛 LPCV 冠军、无人机追逐赛亚军等奖项。
报告题目：工业级模型压缩体系—算法、工具和平台
报告摘要：模型轻量化成为深度学习应用的必经一步，学术界的很多研究更注重精度提升，作为工业界落地中的有效手段，模型压缩后的实际系统效率也是重中之重。本分享将介绍 如何结合工业界生产中的关键问题，进行模型压缩算法和工具上的创新，以实现效果和效率的双重提升。
纪荣嵘，厦门大学南强特聘教授，科技处处长，人工智能研究院负责人，多媒体可信感知与高效计算教育部重点实验室主任。国家杰出青年科学基金获得者、国家优秀青年科学基金获得者、中组部万人计划青年拔尖人才。长期从事计算机视觉与机器学习等人工智能领域前沿技术研究，近年来发表TPAMI、IJCV、ACM汇刊、IEEE汇刊、CVPR、NeurIPS等会议长文百余篇。论文谷歌学术引用2万余次。曾获2016年教育部技术发明一等奖、2018年省科技进步一等奖、2020年省科技进步一等奖、2021年教育部技术发明二等奖、2022年霍英东青年科学奖。曾/现主持科技部科技创新2030重大项目、军科委基础加强项目、国家自然科学基金联合重点、教育部装备预研创新团队项目等。任中国计算机学会A类国际会议CVPR和ACM Multimedia领域主席、中国图象图形学学会学术工委副主任、教育部电子信息类教指委委员、人工智能国家标准工作组联合组长。
报告题目：深度神经网络的压缩与加速研究
报告摘要：深度神经网络在图像理解、语音识别、自然语言处理等人工智能应用领域取得了令人瞩目的成就，成为人工智能研究的热点之一。然而，随着网络性能的不断提高，网络的深度和广度也在不断增加，这就大大增加了网络的参数和计算复杂度。如何压缩和加速这些大的神经网络模型成为学术界和工业界研究的热点。针对神经网络的加速和冗余度问题，本次报告简要介绍已有的加速和压缩方法并在其中覆盖纪荣嵘教授研究组近几年来在神经网络压缩与加速中所做的一些工作与成果。