Allen人工智能研究所发布OpenELM-3B，性能提升至36%

在最新发布的版本中，OpenELM-3B的性能提升至36%，同时预训练token的需求减少了2倍。

OLMo是Allen人工智能研究所（AI2）最近发布的“真正开源、最先进的大型语言模型”。

03.性能测试与社区反馈

在针对知识和推理能力的ARC-C基准测试中，预训练的OpenELM-3B变体的准确率达到了42.24%。同时，在MMLU和HellaSwag上，它的准确率分别为26.76%和73.28%。

一位已经开始测试OpenELM模型的用户指出：该模型似乎是一个“可靠的模型，但非常统一”，这意味着它的回复既没有广泛的创造性，也不可能涉足NSFW领域。

竞争对手微软最近推出的Phi-3 Mini，拥有38亿个参数和4k上下文长度，目前在这一领域处于领先地位。

根据最近分享的统计数据，OpenELM在10次ARC-C基准测试中的得分率为84.9%，在5次MMLU测试中的得分率为68.8%，在5次HellaSwag测试中的得分率为76.7%。

从长远来看，OpenELM的性能有望得到提升。

但苹果公司的开源举措已经让社区兴奋不已，我们将拭目以待社区如何在不同环境中使用OpenELM。

04.苹果的人工智能愿景

苹果公司一直对其生成式人工智能计划保持沉默，但随着新人工智能模型的发布，该公司近期的雄心似乎坚定地落在了“让人工智能在苹果设备上本地运行”的领域。

苹果公司首席执行官Tim Cook曾预告说：“人工智能生成功能将出现在苹果设备上”。并在今年2月表示，苹果公司正在该领域花费“大量的时间和精力”。不过，苹果公司尚未透露人工智能应用的具体细节。

该公司之前发布过其他人工智能模型，不过还没有像竞争对手那样发布任何用于商业用途的人工智能基础模型。

除了OpenELM，去年12月，苹果曾推出了机器学习框架MLX，该框架的理想状态是让人工智能模型更容易在苹果硅上运行。此外，还发布了一个名为MGIE的图像编辑模型，让人们通过提示来修复照片。以及一个名为Ferret-UI的模型可用于智能手机导航。

不过，即使苹果发布了这么多模型，据说该公司还是与谷歌和OpenAI进行了联系，希望将它们的模型引入苹果产品。