免费

MLC-LLM-能在手机上运行的MLC-LLM大型语言模型

 

MLC LLM 是一种通用解决方案,允许将任何语言模型本地部署在各种硬件后端和本机应用程序上,以及供每个人进一步优化自己用例的模型性能的高效框架。一切都在本地运行,没有服务器支持,并通过手机和笔记本电脑上的本地 GPU 加速

Demo地址:MLC LLM | Home