Ollama 核心笔记 - 本地大模型部署与调用

# 验证Ollama是否安装成功，输出版本信息即表示成功
ollama --version
                

# 1. 运行模型（不存在则自动下载，推荐指定参数量）
ollama run 模型名称:参数量  # 示例：ollama run deepseek-r1:1.5b、ollama run qwen3:4b
ollama run qwen3            # 不指定参数量，默认运行官方推荐版本

# 2. 单独下载模型（不运行，仅缓存到本地）
ollama pull 模型名称:参数量  # 示例：ollama pull phi4:mini

# 3. 查看本地已下载的所有模型
ollama list

# 4. 删除本地无用模型（释放磁盘空间）
ollama rm 模型名称:参数量  # 示例：ollama rm deepseek-r1:1.5b

# 5. 查看Ollama所有命令帮助（忘记命令时使用）
ollama --help
                

# 交互模式下，退出模型对话（返回终端正常界面）
/exit  # 核心退出命令，必记
/clear # 清空对话历史
/help  # 查看交互模式下的帮助
                

# curl 调用本地Ollama模型（以deepseek-r1:1.5b为例）
curl -X POST http://127.0.0.1:11434/api/chat -d '{
  "model": "deepseek-r1:1.5b",  # 本地已下载的模型名称
  "messages": [{"role": "user", "content": "你是谁？能做什么？"}],
  "stream": false  # 是否流式输出，false为一次性返回结果
}'
                

# 安装OpenAI库（和云端调用共用一个库，无需额外安装）
pip install openai>=1.0.0
                

from openai import OpenAI

# 初始化Ollama客户端（核心修改：base_url指向本地Ollama端口）
client = OpenAI(
    api_key="ollama",  # 本地调用无需真实API_KEY，任意字符串即可
    base_url="http://127.0.0.1:11434/v1"  # Ollama固定OpenAI兼容接口地址
)

# 调用本地模型（model为本地已下载的模型名称，如deepseek-r1:1.5b/qwen3:4b）
response = client.chat.completions.create(
    model="deepseek-r1:1.5b",  # 必须和本地ollama list显示的模型名称一致
    messages=[
        {"role": "system", "content": "你是一个专业的AI助手，回答简洁明了"},
        {"role": "user", "content": "什么是Ollama？"}
    ],
    temperature=0.7,  # 随机性，0-1之间，值越小回答越严谨
    stream=False  # 非流式输出，一次性返回结果
)

# 提取模型回答结果
answer = response.choices[0].message.content
print("模型回答：", answer)
                

from openai import OpenAI

client = OpenAI(
    api_key="ollama",
    base_url="http://127.0.0.1:11434/v1"
)

# 流式调用本地模型
response = client.chat.completions.create(
    model="qwen3:4b",
    messages=[
        {"role": "system", "content": "你是一个Python编程老师，用简单的语言讲解知识点"},
        {"role": "user", "content": "讲解一下Python中的for循环"}
    ],
    temperature=0.6,
    stream=True  # 开启流式输出
)

# 循环遍历流式结果，逐字打印
print("模型流式回答：", end="", flush=True)
for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
                

from openai import OpenAI

client = OpenAI(api_key="ollama", base_url="http://127.0.0.1:11434/v1")

# 维护对话上下文，初始可设置system角色
messages = [{"role": "system", "content": "你是一个数学老师，只回答数学问题"}]

# 多轮对话模拟
questions = ["1+1等于几？", "那2+3呢？", "刚才的两个答案相加是多少？"]
for q in questions:
    messages.append({"role": "user", "content": q})
    # 调用模型
    response = client.chat.completions.create(model="qwen3:4b", messages=messages, stream=False)
    answer = response.choices[0].message.content
    print(f"问题：{q}\n回答：{answer}\n")
    # 将模型回答加入上下文，供下一轮使用
    messages.append({"role": "assistant", "content": answer})