Ollama 本地运行 Llama 2、Mistral、Gemma 和其他大型语言模型

工具作者：环度SSL 2025-01-09 03:01:49 阅读：76

Ollama 是一个开源的大型语言模型服务，提供了类似 OpenAI 的 API 接口和聊天界面，可以非常方便地部署最新版本的 GPT 模型并通过接口使用。支持热加载模型文件，无需重新启动即可切换不同的模型。

快速开始

进入容器列表，找到 Ollama 容器，点击进入终端运行并与 Llama 2 聊天：

ollama run llama2

Ollama 支持 ollama.com/library 上提供的一系列模型

以下是一些可以下载的示例模型：

Model	Parameters	Size	Download
Llama 2	7B	3.8GB	ollama run llama2
Mistral	7B	4.1GB	ollama run mistral
Dolphin Phi	2.7B	1.6GB	ollama run dolphin-phi
Phi-2	2.7B	1.7GB	ollama run phi
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
Llama 2 13B	13B	7.3GB	ollama run llama2:13b
Llama 2 70B	70B	39GB	ollama run llama2:70b
Orca Mini	3B	1.9GB	ollama run orca-mini
Vicuna	7B	3.8GB	ollama run vicuna
LLaVA	7B	4.5GB	ollama run llava
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b

注意：您应该至少有 8 GB 可用 RAM 来运行 7B 型号，16 GB 来运行 13B 型号，32 GB 来运行 33B 型号。

延伸阅读

DeepSeek服务器“裸奔”互联网现漏洞专家提醒：立即修改配置

连日来，伴随DeepSeek大模型在各领域的迅速流行，越来越多的公司和个人选择将该开源大模型私有化部署或本地部署。值得一提的是，进行此类部署的主流方式之一是使用开源大型语言模型服务工具“Ollama”
国产大模型deepseek-R1本地部署手册

近期deepseek多次冲上热搜，又是多模态支持，又是开源发布R1模型，最近还受到了网络攻击。这篇文章介绍下如何快速部署deepseek-R1，本地访问，因为目前提供了最低7B数据集的模型。部署方案

[广告]赞助链接：

*文章为作者独立观点，不代表 SSLHUB 立场

本文由环度SSL发表，转载此文章须经作者同意，并请附上出处( SSLHUB )及本页链接。

原文链接 https://www.sslhub.cn/freessl/tools/3081.html

Ollama Llama 2 Mistral Gemma Dolphin Phi Phi-2 Neural Chat Starling Code Llama Llama 2 Uncensored Orca Mini Vicuna LLaVA

关注KnowSafe微信公众号
随时掌握互联网精彩