微软打造 13 亿参数小型 LLM AI 模型,并称实际效果胜于千亿参数 GPT-3.5_虚拟币交易所平台,数字货币,NFT
: Microsoft builds a small model with 100 million parameters and claims that the actual effect is better than that of 100 billion parameters. Microsoft builds a small model with 100 million parameters and claims that the actual effect is better than that of the blockchain network with 100 billion parameters. 比特币今日价格行情网_okx交易所app_永续合约_比特币怎么买卖交易_虚拟币交易所平台
IT 之家今日发文表示,AI 模型盲堆体积实际上效果并不见得更好,更多要看训练数据的质量,微软日前最近发布了一款 13 亿参数的语言模型 phi-1,采用“教科书等级”的高品质资料集训练而成,据称“实际效果胜于千亿参数的 GPT 3.5”。该模型以 Transformer 架构为基础,微软团队使用了包括来自网络的“教科书等级”数据和以 GPT-3.5 经过处理的“逻辑严密的内容”,以及 8 个英伟达 A100 GPU,在短短 4 天内完成训练。
微软团队表示,比起增加模型的参数量,通过提高模型的训练数据集质量,也许更能强化模型的准确率和效率,于是,他们利用高质量数据训练出了 phi-1 模型。在测试中,phi-1 的分数达到 50.6%,比起 1750 亿参数的 GPT-3.5(47%)还要好。微软还表示,phi-1 接下来会在 HuggingFace 中开源,而这不是微软第一次开发小型 LLM,此前,他们打造一款 130 亿参数的 Orca,使用了 GPT-4 合成的数据训练而成,表现也同样比 ChatGPT 更好。
原文链接
注册有任何问题请添加 微信:MVIP619 拉你进入群
打开微信扫一扫
添加客服
进入交流群
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。