HourVideo - 李飞飞和吴佳俊团队推出的长视频理解基准数据集

HourVideo是什么

HourVideo是斯坦福大学李飞飞和吴佳俊团队做的长视频理解基准数据集，里面装了500个第一人称视角视频，单个时长20至120分钟，覆盖77种日常活动，用来考察多模态模型对长视频的理解到底怎么样。数据集围绕总结、感知、视觉推理和导航这几类任务设计，考的是模型能不能把视频里多个时间片段的信息识别出来再综合起来。

HourVideo的主要功能

• 长视频理解评估：视频长到一小时也照样能测，模型对长时间视觉数据流的理解能力就是这么量出来的。
• 多任务测试套件：数据集里有总结、感知、视觉推理和导航等多种任务，模型在视频语言理解各个侧面的表现都能测到。
• 高质量问题生成：题目由人工注释者和大型语言模型（LLMs）一起生成，共12,976个多项选择题，测试用的题目是标准化的。
• 模型性能比较：把其他多模态模型拉进来一起比，各家在长视频理解任务上的性能差距就看得清。

HourVideo的技术原理

• 视频数据集构建：HourVideo的视频是从Ego4D数据集中筛出来的500个第一人称视角视频，覆盖日常活动，时长从20到120分钟不等。
• 任务套件设计：一套任务套件拆出多个子任务，每个任务都要求模型理解视频内容里的长期依赖关系并做推理。
• 问题原型开发：每个任务都配了问题原型，答对的前提是把视频多个时间片段的信息识别出来并综合起来。
• 数据生成流程：数据生成走的是多阶段流程，视频筛选、问题生成、人工反馈优化、盲筛选、专家优化一道道过，最后产出高质量的多项选择题。

HourVideo的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2411.04998v1

HourVideo的应用场景

• 多模态人工智能研究：用来研究和开发能理解长时间连续视频内容的多模态模型。
• 自主代理和助手系统：给能看懂长时间视觉信息并做出决策的自主代理和虚拟助手做基础。
• 增强现实（AR）和虚拟现实（VR）：技术底子在它这里，能理解并适应用户行为的沉浸式AR/VR体验做得起来。
• 视频内容分析：监控视频、新闻报道、教育视频这类内容都能分析和理解，关键信息与规律从中提出来。
• 机器人视觉：机器人看得懂长时间序列的视觉信息，在复杂环境里的导航和操作能力更强。