微信扫一扫 分享朋友圈

已有 776 人浏览分享

LLAma3    LLama3 是什么模型,如何本地部署,需要什么配置,到哪里下载

2024-5-7 15:20:33776 0
LLama3 是meta AI公司发布的 NLP大模型,主要在自然语言处理上工作,llama3 是开源大模型,通过大量业内人平均后llama3 70b 模型的能力可以和gpt3.5持平,因为它是免费开源的,本地运行速度极快,非常适合本地部署微调模型做项目。

配置要求

llama3 支持2018年之后发布的任何英伟达模型,基本6g 8g内存的gpu都可以使用,同时也支持cpu运行但测试后速度很慢,因此还是要使用gpu,如果你的电脑配置不强基本只能使用基础的8b模型,需要大概30g的硬盘空间。

安装方式

官方安装,手动一步步的安装,复杂,需要一定的技术基础。
一键安装,大量的一键安装程序可以使用,下载好运行框架后,在通过模型导入即可运行,非常方便,新手安装也极为简单。


https://github.com/janhq/jan

https://gpt4all.io/index.html

https://lmstudio.ai/

https://ollama.com/  依赖docker环境 下载地址:https://www.docker.com/products/docker-desktop/

在线体验

https://huggingface.co/chat/

模型地址

全部模型 https://huggingface.co/QuantFactory
8b模型 https://huggingface.co/QuantFact ... ruct-GGUF/tree/main

LLAma3-LLama3 是什么模型,如何本地部署,需要什么配置,到哪里下载(1)


  • 联系我们
  • 邮箱:1992608358#qq.com(请把#改成@)
  • 微信:mianfeixueai
  • QQ客服 1992608358
  • 工作时间:周一至周五(早上9点至下午5点)
  • 微信公众平台

  • 扫描访问手机版

QQ|NIUBOYI ( 京ICP备17025393号 )|网站地图

GMT+8, 2024-10-24 08:08 , Processed in 0.038307 second(s), 41 queries .

POWERED BY NIUBOYIAI! 主理人:NIUBOYIAI  点亮哥

Copyright © 2001-2020, NIUBOYI AI.