谷歌研究团队近日发布了全新的通用视频编码器——VideoPrism，其在3600万高质量视频字幕对和5.82亿视频剪辑的数据集上进行了训练，并在33项视频理解基准测试中刷新了30项SOTA（最先进技术）成绩。
VideoPrism的设计旨在通过单一冻结模型处理各种视频理解任务，包括分类、定位、检索、字幕和问答等。其设计理念主要基于预训练数据和两阶段训练法。预训练数据方面，谷歌团队通过汇集高质量视频字幕对和带有噪声的并行文本，构建了一个庞大的语料库。在建模方面，VideoPrism采用了对比学习和掩码视频建模两个阶段，以优化语义视频嵌入和全局提炼。
VideoPrism的出色表现不仅体现在分类和定位任务上，还能进行视频-文本检索和QA问答。例如，给定一段视频，VideoPrism可以准确地检索出与文本内容相匹配的视频片段，或者根据视频内容回答相关问题。
谷歌团队表示，VideoPrism的成功验证了通用视觉编码器在视频理解领域的巨大潜力。未来，随着数据集的扩大和模型的不断优化，VideoPrism有望在更多领域实现突破，为视频理解和应用提供更强大的支持。
文章来源于互联，不代表科技云立场！如有侵权，请联系我们。
相关推荐
-
OpenAI亚洲首站落地东京，本月正式开启业务活动
在全球生成式AI技术浪潮中占据领先地位的OpenAI公司，正式将其亚洲首个办事处设在了日本东京。据日经新闻报道，该办事处将于2024年4月开始运营，标志着OpenAI在亚洲市场的重…
-
努比亚2024春季新品发布会定档：小牛5G与Flip 5G折叠屏手机领衔登场
备受瞩目的努比亚2024春季新品发布会正式定档于4月9日14点，届时将有多款手机新品惊艳亮相，包括备受期待的小牛5G手机、Flip 5G折叠屏手机，以及已经开售的努比亚Z60 Ul…
-
加拿大iPhone 6和7用户可申请集体诉讼和解索赔 最高150美元
加拿大iPhone 6和iPhone 7用户迎来喜讯，他们现在可以提交集体诉讼和解索赔，符合条件的用户最多可获得150美元的赔偿。这一和解协议是在上个月不列颠哥伦比亚省最高法院批准…
-
微软向玻璃存储迈进，为数据中心和超大规模服务器提供了抵御勒索软件攻击的可能性，仅Azure客户可用
微软在第29届ACM操作系统原理研讨会上发布了一份16页的学术论文，概述了该公司计划构建持久且高效的存储系统的原则，这是备受期待的基于玻璃的存储技术。 这些存储单元由石英玻璃制成，…
-
美参议院通过涉字节剥离TikTok法案，科技巨头面临新挑战
当地时间4月23日，美国参议院经过激烈辩论，最终以多数票通过了一项价值950亿美元的对外援助法案修正案。该法案不仅包含了对乌克兰和以色列的大规模援助计划，更因涉及字节跳动旗下短视频…
-
数据显示加州去年新注册38万辆纯电动汽车 贡献全美三分之一注册量
2月6日消息，据外媒报道，坐拥硅谷这一全球高科产业中心的加州，经济发达，拥有大量的高收入人群，加之独特的气候条件，使得他们在推广电动汽车方面优势明显，也一直是特斯拉等诸多厂商的重要…
-
苹果Apple金融服务出现短暂服务中断 现已恢复
据报道，美国东部时间今天早上6:15至6:49之间，苹果公司的一些金融服务，包括Apple Pay、Apple Cash、Apple Card和Wallet，出现了服务中断的情况。…
-
TikTok加强AI生成内容识别，与Adobe合作引入“内容凭证”系统
在数字内容日益繁荣的时代，短视频平台TikTok正采取新举措以识别和标注人工智能（AI）生成的内容。这一举措不仅限于平台内使用AI工具创作的内容，还将扩展至第三方平台生成的AI内容…
-
华擎推出DeskMini B760迷你主机：更有效提高生产力
据外媒报道，华擎推出了DeskMini B760迷你主机，该机支持TDP最大65W的英特尔第12/13/14代酷睿处理器，用户可自行安装LGA 1700插座的产品，散热器安装高度小…
-
英特尔Intel与联华电子宣布合作开发12纳米制程技术 将于2027年投产
近日，英特尔公司Intel与联华电子宣布，双方将携手开发12纳米制程平台技术。此次合作标志着英特尔首次与台湾代工厂在工艺开发方面进行合作，不仅象征着台美半导体代工产业的崭新里程碑，…
