Genma-谷歌开源轻量级、高性能、跨平台本地运行大模型

刚刚，谷歌杀入开源大模型，发布了开源模型Gemma，Gemma主打轻量级、高性能，有20亿、70亿两种参数规模，能在笔记本电脑、台式机、物联网设备、移动设备和云端等不同平台运行

性能方面，Gemma在18个基准测评中平均成绩击败目前的主流开源模型Llama 2和Mistral，特别是在数学、代码能力上表现突出，还登顶Hugging Face开源大模型排行榜

1、轻量级、高性能模型：Gemma模型家族包括Gemma 2B和Gemma 7B两种尺寸，提供了预训练和指令调优的变体，相比其他开源模型在其大小范围内具有最佳性能

2、跨框架工具链支持：Gemma支持JAX、PyTorch和TensorFlow，通过原生Keras 3.0进行推理和监督式微调（SFT），适应多种开发需求和环境。

3、易于入门和集成：Gemma提供准备就绪的Colab和Kaggle笔记本，以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM等流行工具的集成，方便开发者快速上手。

4、高效的运算能力：Gemma针对多个AI硬件平台进行了优化，确保在NVIDIA GPU和Google Cloud TPU上具有行业领先的性能。与NVIDIA的合作确保了在数据中心、云端和本地RTX AI PC上的行业领先性能和尖端技术的集成。

OpenAI、谷歌、Meta等大型科技公司的大模型之战有愈演愈烈之势；值得注意的是，谷歌强调Gemma为开放模型，而非“开源”，这意味着谷歌并不会分享Gemma的多项技术细节，包括Gemma的源代码、训练数据等。在应用上，谷歌称其使用条款允许所有组织负责任地进行商用和分发。

目前你可以直接在