果粉控10月13日消息,近日,苹果公司推出了300亿参数的多模态AI大模型MM1.5,该版本是在前代MM1的架构基础上发展而来的。
该模型继续遵循数据驱动的训练原则,着重探究在不同训练周期中混合各类数据对模型性能产生的影响,相关模型文档已在Hugging Face上发布。
MM1.5提供了从10亿到300亿的多种参数规模,拥有图像识别和自然语言推理能力。
在新版本中,苹果公司的研发人员改进了数据混合策略,极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。
参考论文可知,团队在MM1.5的持续预训练阶段引入了高质量的OCR数据和合成图像描述,这显著提高了模型对包含大量文本的图像的理解水平。
此外,研究人员在监督式微调阶段深入分析了不同数据类型对模型表现的作用,优化了视觉指令微调数据的混合方式,使得即便是小规模的模型(如10亿、30亿参数版本)也能有出色的发挥,实现了更高的效率。
值得一提的是,苹果公司这次还推出了专门用于视频理解的MM1.5-Video模型和专门处理移动设备用户界面(UI)理解的MM1.5-UI模型。
其中,MM1.5-UI模型未来有望成为iOS背后的“苹果牌”AI,能够处理各种视觉引用与定位任务,还能总结屏幕上的功能,或者通过与用户的对话进行交互。
尽管MM1.5模型在多项基准测试中表现优异,但苹果团队仍计划通过进一步融合文本、图像和用户交互数据,并设计更复杂的架构,来提升模型对移动设备UI的理解能力,从而让“苹果牌”AI更强大。
【本文结束】如需转载请务必注明出处:果粉控
责任编辑:文祥
文章内容举报
消息称苹果App Store将推AI评论摘要,助用户找到最值得下载的App
贾扬清预言:AI推理成本明年再降10倍,一两年内或将低于人工费?
尼尔森IQ×饿了么:OAIPL即时零售新方法论,解锁增长新密码?
苹果牌AI计划2025年4月更新支持中文等语言
苹果 iOS / iPadOS 18.1 正式版如期而至,AI功能重磅上线!
苹果官宣 Apple智能明年4月起陆续支持中文、法语等更多语言
金蝶苍穹APP发布,AI布局再添新篇章!
中国信通院金键:如何打造AI时代的标识数字新基建?
厉害猫AI火了,互联网巨头阿里、字节、百度、腾讯为何纷纷关注?
一周热点汇总:苹果AI落后行业巨头超2年,特斯拉股价创11年来最大涨幅
湘ICP备19005331号-4copyright?2018-2024
guofenkong.com 版权所有
果粉控是专业苹果设备信息查询平台
提供最新的IOS系统固件下载
相关APP应用及游戏下载,绿色无毒,下载速度快。
联系邮箱:guofenkong@163.com