Notice: Function _load_textdomain_just_in_time was called incorrectly. Translation loading for the advanced-cron-manager domain was triggered too early. This is usually an indicator for some code in the plugin or theme running too early. Translations should be loaded at the init action or later. Please see Debugging in WordPress for more information. (This message was added in version 6.7.0.) in /www/wwwroot/www.help4uu.com/wp-includes/functions.php on line 6121
人工智能新动向,谷歌全新MoD架构引领AI计算资源革新 | 科技云

人工智能新动向,谷歌全新MoD架构引领AI计算资源革新

近日,科技巨头谷歌旗下的DeepMind团队发布了一项革命性的新技术——Mixture-of-Depths(MoD)。这一全新架构彻底改变了传统的Transformer计算模式,以其独特的动态资源分配机制,在人工智能领域引起了广泛关注。

人工智能新动向,谷歌全新MoD架构引领AI计算资源革新

MoD的核心思想是通过动态分配大型模型中的浮点运算次数(FLOPs),优化不同模型深度层次的资源分配。在传统的Transformer架构中,每个层次的计算资源是固定的,无论处理的信息复杂程度如何,都会进行相同的计算量。然而,这种方法在处理不同难度任务时显得不够灵活,往往会导致计算资源的浪费。

MoD通过限制给定层的自注意力和多层感知器(MLP)计算的token数量,实现了更为精细的计算资源管理。它能够在处理每个任务时,根据任务的难易程度动态调整计算深度。这意味着,在处理简单任务时,MoD可以跳过一些不必要的计算层次,从而节省计算资源;而在处理复杂任务时,它又能够集中更多资源在关键层次上,以确保任务的准确完成。

这种动态分配机制使得神经网络能够学会主要关注真正重要的信息。例如,在自然语言处理任务中,预测下一个句子的内容可能需要大量的计算资源,因为这其中涉及到复杂的语义理解和推理;而预测句子结束的标点符号则相对简单,不需要过多的计算。在传统的Transformer架构中,这两类任务可能会分配相同的计算资源,这无疑是对资源的极大浪费。而MoD则能够智能地分配更多的资源给复杂任务,同时减少简单任务的资源消耗。

据谷歌方面发布的相关测试结果显示,MoD架构在保持等效计算量和训练时间的前提下,每次向前传播所需的计算量更小。这意味着在相同的硬件条件下,使用MoD架构可以处理更多的任务,从而提高了整体的工作效率。此外,在后训练采样过程中,MoD还展现出了显著的步进速度提升,达到了50%以上。

除了在计算资源分配上的创新外,谷歌研究团队还进一步探讨了MoD与Mixture-of-Experts(MoE)结合的可能性,这种结合被命名为MoDE。MoE是一种通过集成多个专家模型来提高整体性能的技术。当MoD与MoE相结合时,可以充分发挥两者的优势,实现更高的性能和更快的推理速度。这种结合为人工智能领域的发展带来了新的可能性。

值得一提的是,谷歌在AI技术的研发上并不仅限于提高计算效率和性能。为了解决AI幻觉问题——即AI在某些情况下会产生与事实不符的输出,谷歌DeepMind还与斯坦福大学联合开发了一款名为“搜索增强事实评估器”(Search-Augmented Factuality Evaluator,SAFE)的AI事实核查工具。

SAFE通过四个步骤对AI聊天机器人生成的回复进行分析、处理和评估,以验证其准确性和真实性。这一工具首先将回复分割成多个单个待核查内容,并对上述内容进行修正。然后,它将这些内容与谷歌搜索结果进行比较,以检查其一致性。此外,SAFE还会检查各个事实与原始问题的相关性,从而确保回复的准确性和有用性。

为了评估SAFE的性能,谷歌研究人员创建了包含约16000个事实的数据集LongFact,并在多个大语言模型上进行了测试。结果显示,在对100个有争议事实进行的重点分析中,SAFE的判定在进一步审查下正确率达到了76%。这一结果表明,SAFE在提高AI输出准确性方面具有显著的效果。同时,SAFE还具备显著的经济性优势。与传统的人工注释相比,使用SAFE进行事实核查的成本要低得多,这使得它成为一种实用且高效的AI质量保障工具。这些技术不仅提高了AI的计算效率和性能,还加强了AI输出的准确性和真实性核查能力。随着这些技术的不断发展和完善,我们有理由相信人工智能将在未来发挥更加广泛和深入的作用。

文章来源于互联,不代表科技云立场!如有侵权,请联系我们。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注