Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率
2025-04-06 19:58:34 小编:鑫昌软件园
本站 4 月 6 日消息,Meta现已发布旗下最新Llama 4 系列AI 模型,包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth,Meta 透露相应模型都经过了“大量未标注的文本、图像和视频数据”的训练,以使它们具备“广泛的视觉理解能力”。

目前,Meta 已将系列模型中的 Scout 和Maverick 上架到Hugging Face(点此访问),而 Behemoth 模型则还在训练中。其中 Scout 可以在单个英伟达H100 GPU 上运行,而Maverick 则需要英伟达H100 DGX AI 平台或“同等性能的设备”。
Meta 表示,Llama 4 系列模型是该公司旗下首批采用混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,所谓“混合专家架构”基本上是将数据处理任务分解为子任务,然后将它们委派给更小的、专门的“专家”模型。

例如,Maverick 总共有4000 亿个参数,但在128 个“专家”模型中只有170 亿个活跃参数(参数数量大致与模型的问题解决能力相对应)。Scout 有170 亿个活跃参数、16 个“专家”模型以及总计1090 亿个参数。

不过值得注意的是,Llama 4 系列中没有一个模型是像OpenAI 的o1 和o3-mini 那样真正意义上的“推理模型”。作为比较,“推理模型”会对其答案进行事实核查,并且通常能更可靠地回答问题,但因此也比传统的“非推理”模型花费更长的时间来给出答案。
Meta 内部测试显示,Maverick 模型最适合用于“通用AI 助手和聊天”等应用场景,该模型在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现超过了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 与谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更强大的最新模型相比仍有一定进步空间。

而 Scout 的优势则是总结文档、基于大型代码库进行推理。该模型支持 1000 万个词元(“词元”代表原始文本的片段,例如单词“fantastic”可拆分为“fan”、“tas”和“tic”),因此一次可以处理“多达数百万字的文本”。
本站注意到,Meta 还进一步预告了其 Behemoth 模型,据该公司称,Behemoth 有2880 亿个活跃参数、16 个“专家”模型,总参数数量接近2 万亿个。Meta 的内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth 的表现优于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro,但不如Gemini 2.5 Pro。
- 猜你喜欢
-
恶魔老虎机单机游戏手机版56.89MB手游下载 -
假面骑士03变身模拟器最新版98.8MB手游下载 -
死盘子中文版20.94MB手游下载 -
侠客英雄传3重制版安卓移植版75.91MB手游下载 -
街头学校模拟器正版无广告中文版111.74MB手游下载 -
暗黑远征(原味北神沉默)193.5MB手游下载 -
无畏契约开箱模拟器手机版36.22MB手游下载 -
永恒领主手游0.05折版391MB手游下载 -
自由城计划史蒂夫版手机版199.38MB手游下载
- 相关手机游戏
-
横扫山河永久0.1折版42.4MB手游下载 -
奇妙猫咪世界最新版本170.66MB手游下载 -
大刀客手游0.05折版12.7MB手游下载 -
巴士模拟器EVO中文版1100.18MB手游下载 -
街霸VS铁拳手机版82.2MB手游下载 -
瑞克和莫蒂回家之路汉化版297.08MB手游下载 -
代号752自由之路完整版373.3MB手游下载 -
绿茵奇迹官方正版996.08MB手游下载 -
疾风剑魂(0.05折)727.99MB手游下载
- 推荐鑫昌秘籍
- 预见未来2评分为什么不高?看完这篇影评你就明白了!
- psn会员到底值得开通吗?看完这篇分析你就明白了!
- 想了解天山剑阵吗?这篇入门介绍让你快速看懂!
- 科技昨夜今晨 0515:市场监管总局召开平台企业支持个体工商户发展座谈会;微信月活首次突破 14 亿;英特尔处理器被曝出潜在安全漏洞...
- 隐擎技术
- 如何在职场中存活?这几个生存法则一定要知道!
- 0 点抢券:小米 14 Ultra 手机 16GB+512GB 版 6999 → 3774 元新低
- 新手必备鬼兜虫采集路线推荐!简单好找不怕迷路!
- 《人形机器人标准体系框架》发布:避免企业“重复造轮子”,明确产业技术缺口
- 维摩那是什么意思?一篇看懂古印度神话中的飞行器。
- 最新手机精选
-
九七电影院手机版支持微信微博最新版本下载2025-03-18手游下载 | 73.63MB -
舞姬直播wj5平台下载2025-01-31手游下载 | 41.53MB -
云猫壁纸2025-04-03手游下载 | 9.98MB -
榆树上的荔枝花完结破解版2025-04-08手游下载 | 186.41MB -
MC大战僵尸2六章完整版2025-03-24手游下载 | 115.1MB -
一个人在线观看的免费视频www安卓最新版2025-03-11手游下载 | 53.79MB



































