Ollama 本地运行 Llama 2、Mistral、Gemma 和其他大型语言模型

Ollama 是一个开源的大型语言模型服务,提供了类似 OpenAI 的 API 接口和聊天界面,可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。
快速开始
进入 容器 列表,找到 Ollama 容器,点击进入终端运行并与 Llama 2 聊天:
ollama run llama2
模型库
Ollama 支持 ollama.com/library 上提供的一系列模型
以下是一些可以下载的示例模型:
Model | Parameters | Size | Download |
---|---|---|---|
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Mistral | 7B | 4.1GB | ollama run mistral |
Dolphin Phi | 2.7B | 1.6GB | ollama run dolphin-phi |
Phi-2 | 2.7B | 1.7GB | ollama run phi |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
Vicuna | 7B | 3.8GB | ollama run vicuna |
LLaVA | 7B | 4.5GB | ollama run llava |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
注意:您应该至少有 8 GB 可用 RAM 来运行 7B 型号,16 GB 来运行 13B 型号,32 GB 来运行 33B 型号。
延伸阅读
-
DeepSeek服务器“裸奔”互联网现漏洞 专家提醒:立即修改配置
连日来,伴随DeepSeek大模型在各领域的迅速流行,越来越多的公司和个人选择将该开源大模型私有化部署或本地部署。值得一提的是,进行此类部署的主流方式之一是使用开源大型语言模型服务工具“Ollama”
-
国产大模型deepseek-R1本地部署手册
近期deepseek多次冲上热搜,又是多模态支持,又是开源发布R1模型,最近还受到了网络攻击。这篇文章介绍下如何快速部署deepseek-R1,本地访问,因为目前提供了最低7B数据集的模型。部署方案
[广告]赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- 百度客服回应贴吧存暗号色情交易:遇到不想看的可以点击不看
- 欧洲刑警组织拆除FluBot安卓恶意软件
- 官宣:华为伙伴暨开发者大会2022来了!
- Linux 的致命弱点是什么?Fedora项目负责人现身说法
- Raspberry Pi 的新用法:检测家中的漏水情况
- Telegram在巴西被封禁,只因电子邮件问题未收到法院传票?
- 活动邀约|3.12“ASMC·API安全管理论坛”上海站
- 一直被唱衰的 Java,曾令比尔·盖茨“焦虑难眠”
- 亚马逊云科技 INNOVATE | 数据驱动创新在线大会强势来袭!
- 在Z|红华资本高薪诚招投资分析师、投资经理
- 超级CSO | 周斌:业务安全,风控要强
- 盘点 | 2020网络安全融资大事记:迎向未来的风
赞助链接