讲者简介：彭宇新，北京大学二级教授、博雅特聘教授、国家杰出青年科学基金获得者、国家万人计划科技创新领军人才、科技部中青年科技创新领军人才、863项目首席专家、中国人工智能产业创新联盟专家委员会主任、中国工程院“人工智能2.0”规划专家委员会专家、CAAI/CIE/CSIG Fellow、中国图象图形学学会副秘书长、提名与奖励委员会副主任、北京图象图形学学会副理事长。主要研究方向为跨媒体分析、计算机视觉、机器学习、人工智能。以第一完成人获2016年北京市科学技术奖一等奖和2020年中国电子学会科技进步奖一等奖，2008年获北京大学宝钢奖教金优秀奖，2017年获北京大学教学优秀奖。主持了863、国家自然科学基金重点等40多个项目，发表论文200多篇，包括ACM/IEEE Trans.和CCF A类论文100多篇。多次参加由美国国家标准技术局NIST举办的国际评测TRECVID视频样例搜索比赛，均获第一名。主持研发的跨媒体互联网内容分析与识别系统已经应用于公安部、工信部、国家广播电视总局等单位。担任IEEE TMM、TCSVT等期刊编委。

报告题目：细粒度多模态大模型

报告摘要：多模态大模型是指提取并融合图像、视频、文本等多模态数据表征，通过大语言模型进行推理，适配到多种下游任务的基础模型。多模态大模型在视觉问答、视频理解、复杂逻辑推理等多模态内容理解与生成任务中取得突破性进展，迅速成为新兴的研究热点。然而，当前的多模态大模型存在感知粒度粗、任务适配难等局限性，其关键科学问题是如何降低大模型进行细粒度预训练所需的巨大标注成本，使大模型具备细粒度感知能力？如何克服不同任务间的差异，统一优化大模型在不同下游任务上的性能？本报告将从当前多模态大模型的局限性出发，介绍我们在细粒度多模态大模型相关领域的近期研究进展，包括细粒度视觉分析、多模态持续学习、异构任务适配、多模态AIGC等，并对细粒度多模态大模型面临的主要挑战与未来发展方向进行简要讨论与展望。