破解 ChatGPT 惊人耗电,DeepMind 新算法训练提效 13 倍,能耗暴降 10 倍
2024-07-08 08:33:44
  • 0
  • 0
  • 0

来源:极客公园

最近,GoogleDeepMind 研究团队提出了一种加快 AI 训练的新方法——多模态对比学习与联合示例选择(JEST),大大减少了所需的计算资源和时间。

JEST 以 13 倍更少的迭代次数,以及 10 倍更少的计算量,超越了最先进的模型。

总体来说,JEST 方法展现出了「数据质量引导」(data quality bootstrapping)方法的巨大潜力,即使用小规模精选数据集来指导对更大的、未经管理的数据集的学习。

无论是使用 JEST 参考模型对数据集进行预评分,还是通过可学习性评分来根据模型需求进行动态调整,都可以成为通用基础数据集的更有效率的替代方案。当然,该方法仍存在一定局限性,虽然 JEST 同时实现了性能增益和训练成本降低,但依旧依赖于小型、精心管理的参考数据集,它指定了未经管理的更大数据集中优先考虑的分布。

 
最新文章
相关阅读