近日,微软发布了WizardMath大模型,参数规模为700亿,性能逆天非常强劲,在数学推理基准测试中,该模型比目前市面上所有的开源语言大模型都强!目前,WizardMath模型的论文、代码均已开源,中科院团队也参与项目,所有研发人员均为华人!
在ChatGPT热潮开始后,许多新进入这一领域的研究团队,需要创建非常庞大、非常复杂,且已经标注过的数据,正如Geoffrey Hinton所言,“数据就是一切,越多越好。”
大量的数据可以提高GPT模型的泛化能力,然而并不是每家公司都有这个能力拿到这些数据,所以微软团队联合中科院团队,一起发表了论文《爱游戏(ayx)中国官方网站》,希望使用一定的指令数据,来微调那些大模型,使其能够遵循一些复杂的指令。
论文中详细介绍了“Reinforced Evol-Instruct”方法,即在LLaMA模型的基础上,利用AI来代替人类自动生成涵盖各种难度级别开放域指令,然后利用该方法生成很多数学领域相关的指令,对羊驼进行微调得到了WizardMath。
数学推理
最令人振奋的就是WizardMath的数学推理能力,在两个数学推理基准 GSM8k 和 MATH 的测试中,WizardMath 达到 SOTA 级别,优于所有其他开源 LLM!
WizardMath一共分为70B、13B、7B三个参数规模,其中WizardMath-70B-V1.0 模型在 GSM8k 基准测试中达到 81.6 pass,比之前最强的大模型还要高出24.8分!
在目前众多知名数学家中,陶哲轩是最早入坑ChatGPT的科学家之一,即使是3月份,ChatGPT不会解决鸡兔同笼问题,Tao依然给出非常积极的评价,认为ChatGPT完全能够帮助他这个级别的数学家进行辅助性的工作.
在WizardMath基础上,微软团队还开源了WizardCoder,专门用于代码方向的Code LLM,在四个代码生成基准HumanEval、HumanEval+、MBPP 和 DS-1000中,同样取得了非常强的性能,效果超过了Claude和Bard!目前论文的9位作者均为华人,通讯作者是姜大昕,微软全球合伙人、副总裁、前微软亚洲研究院首席科学家,曾为微软必应搜索引擎和Cortana智能助手自然语言理解负责人,现已被曝离职投身大模型创业!此前,沈向洋带读论文系列,也邀请过姜大昕分享Knowledge Distillation相关论文。
机器学习基础:
AI学术巨佬——
AI领军人物——
张益唐——
B站大学——
机器学习入门——数学基础()
机器学习入门——数学基础()
机器学习入门——数学基础()
ChatGPT:
聊天机器人——
聊天机器人——
ChatGPT移动端——
微软——
ChatGPT王炸官宣——
微软——
英伟达重磅:
英伟达重磅:
黄仁勋:
ChatGPT免费开源平替——
ChatGPT王炸升级——
ChatGPT史诗升级——
ChatGPT加强版——
ChatGPT王炸升级——
ChatGPT王炸官宣——
ChatGPT重磅升级——
ChatGPT:
ChatGPT:
ChatGPT突发:
ChatGPT突发:
ChatGPT突发:
ChatGPT:
ChatGPT手机版:
ChatGPT之父:
ChatGPT之父:
ChatGPT之父:
ChatGPT之父奥特曼:
ChatGPT:
ChatGPT:
微软神级开源:
微软头显AI助手:
游戏界大变天:
淘汰ChatGPT:
人工智能“觉醒”:
智械危机:
ChatGPT最强挑战者:
ChatGPT最强竞品:
ChatGPT:
ChatGPT:
ChatGPT:
ChatGPT:
ChatGPT:
OpenAI重磅突破:
比尔盖茨来了:
人工智能之父、奥特曼严肃警告——
AI速通游戏——
苹果版GPT:
苹果最强头显:
苹果库克:
苹果:
ChatGPT:
论文相关:
毕业季杂谈——如何随时免费使用中国知网?
毕业季杂谈——
毕业季杂谈——
毕业论文——
ChatGPT:
#免责声明#
①本站部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。
②若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
③如果本站有侵犯、不妥之处的资源,请联系我们。将会第一时间解决!
④本站部分内容均由互联网收集整理,仅供大家参考、学习,不存在任何商业目的与商业用途。
⑤本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与任何商业和非法行为,请于24小时之内删除!