小米大模型上线新模式 推理速度突破1000 tokens/s
6月8日晚,小米型上线新小米MiMo技术团队正式上线Xiaomi MiMo-V2.5-Pro-UltraSpeed模式,大模在通用GPU上推理速度突破1000 tokens/s。模式
MiMo-V2.5-Pro-UltraSpeed通过对模型推理系统的推理突破全链路工程能力优化,在不降低模型能力前提下,速度首次把推理速度提升至1000 tokens/s,小米型上线新且无需定制芯片、大模只使用通用GPU即可达成。模式这一突破打破了“快、推理突破强、速度通用 GPU无法兼得”的小米型上线新行业不可能三角。
小米MiMo技术团队表示,大模该突破是模式基于Xiaomi MiMo-V2.5 Pro的SWA架构,叠加了FP4 Experts、推理突破DFlash解码以及TileRT团队的速度执行系统Co‑design,从模型到推理引擎再到GPU执行路径进行了全链路优化。
即日起至6月23日,MiMo-V2-Pro-UltraSpeed模式将采取申请制限时开放,通过申请的用户可接入API 进行体验。
自4月底以来,小米AI在模型能力、推理成本和推理效率三个维度接连取得突破:4月23日, MiMo-V2.5-Pro在全球权威大模型测评平台Artificial Analysis上,获得综合智能指数与Agent指数全球开源模型并列第一;5月27日,Xiaomi MiMo-V2.5系列模型API因技术优化宣布最高降价99%,并同步调整Token Plan计费体系。6月8日,MiMo-V2.5-Pro-UltraSpeed以1000 tokens/s创下万亿参数旗舰模型推理速度新纪录。
-
汽车做玻璃镀膜有用吗 汽车玻璃镀晶镀花了怎么办,行业资讯浙江省规划2015年光伏发电装机容量达34万千瓦,行业资讯关于召开第二届全国玻璃深加工行业与机械装备链商洽谈会暨2012玻璃深加工企业发布会的邀请函,行业资讯市城乡规划局“三万”活动工作组在移民队开展清洁家园活动婴儿意外险包括,儿童意外险有哪些品种?谁更好?《生化危机9》《荒野大镖客2》下雨天效果对比头条:新华视点|金秋丰收画卷:特色产业富农家 科技赋能稳粮仓上海HOURGLASS「轻纱入夜」派对 钟楚曦、何与、曾沛慈等众星齐聚【风尚】风尚中国网星海图新一代具身基础模型G0.5发布,全面提升零样本泛化能力,让机器人边思考边行动供应压力不减,下游生存同样艰难,市场研究
- ·100种重疾险需要买?重疾险100种重疾包含哪些?
- ·玻璃货物欲拔下半年上市头筹,市场研究
- ·关于召开第二届全国玻璃深加工行业与机械装备链商洽谈会暨2012玻璃深加工企业发布会的邀请函,行业资讯
- ·2015年河北沙河玻璃产业总产值有望打破千亿元,行业资讯
- ·35岁女重疾险多少钱?35岁女重疾险要花多少钱?
- ·头条:新华视点|金秋丰收画卷:特色产业富农家 科技赋能稳粮仓
- ·春节期间客车票价总体平稳
- ·光伏产业:合肥打造高新技术产业的“实力”,行业资讯
- ·30万重疾险性价比高,重疾险保30万好还是50万好
- ·玻璃货物对外征求意见 或于8月底上市,行业资讯
- ·维他星益生菌发酵果汁颜值在线,渠道广阔,让经销商后顾无忧!
- ·北大副教授吐槽女儿不如己 “认命”不等于“躺平”
- ·开发者解释为何游戏关服后 无法出离线版
- ·大河秋季车展展位再遭“哄抢”主力品牌全力参展
- ·省内迎新一轮降雨 雨天行车要注意这些事儿
- ·雨灾无情,令玻璃市场雪上加霜,行业资讯
