快速体验Llama 3，对标GPT4的最强开源大模型

4月19日，Meta推出迄今为止能力最强的开源大模型Llama 3系列，发布8B和70B两个版本。另外还有一个最大模型规模将超过4000亿参数，目前正在训练中。Llama 3一经发布，AWS、微软Azure、谷歌云、百度智能云，以及Hugging Face、IBM WatsonX、英伟达NIM和Snowflake陆续宣布其平台上线Llama 3，支持Llama 3训练、部署和推理运行。

模型能力分析与测评

1. 模型结构：与LLAMA-2相比，Llama 3进行了关键性改进：-Token词典扩展至128K，提升编码效率-引入Grouped Query Attention (GQA)，减少推理过程中的KV缓存大小，提升推理效率-输入上下文长度扩展至8K，但与竞品相比仍较短。
2. 训练数据量：显著增加至15T Tokens，达Llama 2七倍。代码数据扩充4倍，显著提升代码能力和逻辑推理能力

3. 模型版本：分大中小三个版本，参数规模分别为8B、70B、400B，目标是多模态、多语言，预计效果与GPT 4相当
4. MOE结构：LLAMA-3未采用MOE结构，因为同等规模下MOE模型效果不如Dense模型
5. 数据与模型规模：遵循Chinchilla law，即模型效果随高质量数据量增加而提升，同时模型规模的增加也能提升效果。Llama 3训练效率比Llama 2提升三倍
6. 指令微调：关于Llama 3的训练策略融合了监督式微调、拒绝抽样、近端策略优化和直接策略优化等多种技术，以此提升 Llama 3 在逻辑推理和编程任务上的表现

我们看一下Llama 3目前跑分：

5个评测集分别是MMLU（学科知识理解）、GPQA（一般问题）、HumanEval（代码能力）、GSM-8K（数学能力）、MATH（比较难得数学）；不管是8B还是70B，基本等于全线秒杀

Meta曾经做过一次有趣的测验：Meta Llama 3 指导人类评估

该评估集包含 1,800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、栖息角色/角色、开放式问答、推理、重写和总结。为了防止此评估集上的模型意外过拟合，即使是他们自己的建模团队也无法访问它。

开源与闭源

预计LLAMA-3系列将全面开源，包括400B模型，这将提供与GPT4相当的开源大语言模型。现在的Llama 3-70B已经一路攀升到大模型排行榜前列，仅次于GPT-4，打败了Claude 3 Opus
Llama 3官方模型下载申请链接：https://llama.meta.com/llama-downloads

中文社区：https://llama.family

GitHub地址：https://github.com/meta-llama/

免费使用方法

1.Meta AI地址：https://www.meta.ai/
2.Groq地址：https://console.groq.com/docs/models
3.Huggingface地址：https://huggingface.co/chat/
4.英伟达开发者平台：https://build.nvidia.com/explore/discover
5.llama2.ai地址：https://www.llama2.ai/
6.Replicate.dev地址：https://llama3.replicate.dev/
7.Poe地址：https://poe.com/

中文微调

目前llama3对中文支持不是很好，推荐一个中文微调版：GitHub - CrazyBoyM/llama3-Chinese-chat: Llama3 中文版首个llama3中文微调版。llama3-Chinese-chat是一个开源的中文聊天模型，基于Llama3框架，旨在提供高质量的中文NLP任务处理能力
链接：https://github.com/CrazyBoyM/llama3-Chinese-chat
最后Llama 3一发布，扎克伯格宣布：基于最新的 Llama 3 模型，Meta 的 AI 助手现在已经覆盖 Instagram、WhatsApp、Facebook 等全系应用，并单独开启了网站。另外还有一个图像生成器，可根据自然语言提示词生成图片。

参考文献：