本地 AI 大模型是什么？能干什么？是时候考虑部署一个Ollama AI模型了！

-

部署Ollama AI模型，看这一篇足够了，详细图文教程

部署Ollama AI本地大模型看这一篇足够了

什么是本地AI大模型？

简单来说，本地 AI 大模型就是把一个强大的人工智能"装进"你的电脑里。它不需要依赖云端服务器，所有的计算和处理都在你自己的机器上完成。就像你拥有了一个随时待命的"离线版 ChatGPT"。

就是我今天给大家推荐的Ollama！

Ollama的优势

安装 Ollama 的最大优势在于：你能在本地轻松随意切换不同AI模型，例如：谷歌的Gemma、OpenAI的GPT,阿里的Qwen、幻方的Deepseek等等很多厂家的AI模型你都可以拿过来用，有擅长语言处理的、有擅长数学推理的、还有擅长编程的，这些模型你很轻松的一点鼠标，就切换了，是不是很方便！

主要特点：

  • 断网状态下也可以和AI轻松对话
  • 数据保存在本地，保障隐私不外露
  • 可玩性高，可以结合各种应用使用（如视频翻译插件）

配置要求

配置方面，cpu怎么也得8核起或i5以上，内存8gb以上吧真别在低了，玩ai主要看内存，硬盘怎么的也得留出来个20gb起吧，Ollama只能安装到C盘，一个模型动辄5gb、10gb的，装C盘确实有点难受，下面我会讲到如何更改路径装到别的盘。能有块3060以上的显卡那是最好不过，虽然Ollama是消费级设备就能运行，那咱也差不多点，如果低于这个配置，听劝就别折腾了，配置高点，流畅点，体验OK点。

Ollama支持Windows、MacOS、Linux，今天演示在Windows上的安装过程。

Windows要求： Windows 10 22H2 或更高版本、家庭版或专业版

下载安装

首先到官方下载Ollama软件，链接：Ollama官方下载链接，（软件目前1.12个gb，建议你用下载器，还在用浏览器下载的兄弟们推荐你们用全球大名鼎鼎的IDM下载器，下载稳定、速度快、快到10M以内你都看不到进度条，IDM下载器链接：官方IDM下载器+激活方法）

1、直接安装到C盘

想直接默认装C盘，请直接双击打开软件，按一下"Install"，你就什么也不用管了。

Ollama直接安装

2、自定义安装目录

不想安装到C盘的，看这里：

例如:你下载的OllamaSetup安装文件在D:\Downloads

你想装到E:\Ollama

步骤：

  1. 打开D:\Downloads（OllamaSetup安装文件所在目录），在空白处按住Shift键，点击鼠标右键，选择PowerShell
通过PowerShell指定目录安装Ollama

2、输入命令

.\OllamaSetup.exe /DIR="E:\Ollama"

按回车执行

输入指定目录命令

3、弹出安装框，点击Install，进行安装

在跳出的安装页面点击Install进行安装

4、显示安装到指定目录。

Ollama正在安装到指定目录

配置设置

5、安装完成，先设置一下关键内容，点击左侧栏展开，选择Settings

安装Ollama已完成下一步设置相关配置

6、设置大模型的下载地址，不建议安装在C盘，可以指定到目录,这里演示指定到E:\ai\

设置自定义模型指定下载路径

Ollama使用方式

Ollama提供两种使用方式：

  • 云模型 适合体验非消费级电脑硬件的更大型AI模型，云模型需要在 ollama.com 上注册一个帐户登录后使用。
  • 本地模型 适合个人消费级电脑，将模型下载到本地运行，如需使用联网功能，也是需要登录账户后使用。
cloud云模型和本地模型

下载模型

第一种方式：使用PowerShell命令行

用PowerShell命令行，输入以下命令：

ollama pull qwen3:8b
PowerShell命令行输入ollama pull qen3:8b

下载中，实时显示下载进度。

等待Ollama下载中

显示"success"则表示模型已经下载成功。

显示success代表Ollama下载成功

现在启动模型，输入命令：

ollama run qwen3:8b

显示>>>send a message表示模型启动成功，可以进行对话。

输入ollama run qen3:8b运行ollama该模型

在PowerShell命令行中可以直接和模型进行对话（可以断网运行）。

Ollama对话演示 可断网运行

在UI界面中选择qwen3:8b，可以和模型直接对话，点击联网按钮，会提示登录，登陆后可使用，用于让AI获取网上实时性的内容。

在应用程序界面演示对话

第二种方式：使用UI界面下载

在UI模型列表中选择带下载箭头图标的模型

这里演示gemma3:4b

使用UI应用程序下载模型

随便输入对话，即可激活该模型的下载

UI应用程序下载模型进行中

模型下载完成，可以观察到模型列表的gemma3:4b下载图标已经消失了。

在UI模型列表里发现已下载的模型后面没有箭头图标了

在PowerShell命令行中查询本地模型的概况

输入命令

ollama list

或者

ollama ls

以下图示中显示了本次演示中分别安装的两个模型。

在PowerShell中输入ollama list查看所有模型

删除模型

例如图示，想删掉"codellama:13b"这个模型

输入命令

ollama rm codellama:13b

显示deleted`codellama:13b`，说明这个模型已删除。

输出模型输入ollama rm 模型名称

扩展阅读

常见问题

Q: PowerShell 下载模型时速度越来越慢了，怎么办？

A: 按 Ctrl+C 结束下载，然后重新输入命令执行，Ollama 支持断点续传。

Q: 在 PowerShell 执行命令时是否需要进入 Ollama 安装目录？

A: 不需要，Ollama 已设置好全局变量，在任何目录下都可以执行命令。

Q: 下载的模型文件会保存在哪里？

A: 如果使用默认设置，模型将下载到：

C:\Users\用户名\.ollama\models

本教程中已更改模型路径，下载到 E:\ai 文件夹。

Q: 下载模型后运行 run 命令一直转圈，UI界面也无响应怎么办？

A: 大概率是电脑性能不足，建议尝试更轻量化的模型或使用云端模型。

Q: Ollama 的更新日志和模型配置文件在哪里？

  • 日志与更新： 按 Ctrl + R，输入以下命令：
    explorer %LOCALAPPDATA%\Ollama
    • app.log：GUI 应用日志
    • server.log：服务器日志
    • upgrade.log：升级日志
  • 模型与配置文件： 按 Ctrl + R，输入以下命令：
    explorer %HOMEPATH%\.ollama

Ollama常用命令汇总

以下命令中包含qwen3:8b，这个模型名称是示例。

安装命令参数

参数 作用 示例命令
/S 静默安装，不弹出安装界面 OllamaSetup.exe /S
/DIR= 指定安装目录 OllamaSetup.exe /DIR=E:\Ollama
/NOICONS 不创建桌面图标 OllamaSetup.exe /S /NOICONS
/NORESTART 安装后不自动重启 OllamaSetup.exe /S /NORESTART

指定目录安装Ollama到E:\Ollama：

.\OllamaSetup.exe /DIR="E:\Ollama"

. 表示在当前目录下（PowerShell中不会主动寻找根目录）
OllamaSetup.exe 当前目录下的安装文件名
/DIR= 用于指定安装目录的参数
"E:\Ollama" 指定安装的目录，E:\Ollama这个路径是示例，你可以改成你想要的路径
可配合其他参数使用，如/S 静默安装参数
例如：.\OllamaSetup.exe /S /DIR="E:\Ollama"

模型管理命令

模型指定存储路径：

setx OLLAMA_MODELS "E:\Ollama\models"

1、E:\Ollama\models将下载的模型存储到指定位置，这个路径是示例
2、确保"E:\Ollama\models这个目录必须存在，不存在请提前创建
3、为了确保环境变量生效，运行完命令后关闭并重启PowerShell
4、对环境变量不熟悉的可以直接在应用程序（UI）的设置中设置。

拉取模型：

ollama pull qwen3:8b

也可用于更新本地模型，仅更新差异。

运行模型：

ollama run qwen3:8b

qwen3:8b模型不存在时，运行此命令也可达到下载模型的效果。

列出本地电脑的模型：

ollama list
ollama ls

二选一，没差别。

显示模型信息：

ollama show qwen3:8b

删除模型：

ollama rm qwen3:8b

列出当前加载的模型：

ollama ps

停止当前正在运行的模型：

ollama stop qwen3:8b

启动服务：

ollama serve

如果不想运行桌面应用（也称UI）程序的情况下，启动 ollama 时。

登录 Ollama账户：

ollama signin

退出Ollama账户：

ollama signout

复制模型：

ollama cp qwen3:8b my-model

硬件与模型参数的匹配

先看内存，内存指标是关键瓶颈，模型越大越吃内存
再看cpu和gpu，没有独显也能运行，速度慢点而已，有Nvidia显卡（支持cuda）可加速推理
再看硬盘，基本上从小到大参数的模型都得4 GB 到20 GB 以上，心里有数就行。

通过以下原则大致判断，自己的硬件设备适合多少B参数的模型：

  • 8 GB 的内存大致可运行 7B 以下的参数
  • 16 GB 的内存大致可运行 8B-13B 左右的参数
  • 32 GB 的内存大致可运行 33B 左右的参数

举例参考（以qwen3:8b为例）：

qwen3是模型名称，表示阿里千问第三代，8b是参数规模为80亿。

模型名称 参数量 适合任务 内存需求
qwen1:1.8B 1.8B 轻量对话聊天、翻译 8-12GB
qwen3:8B 8B 写个文章，编个程，整理个摘要 16-32GB
qwen2:14B 14B 长文本的推理、计算，适合复杂任务 32-64GB
qwen1:7B 72B 高精度的推理计算，一般公司级别的部署 128GB起

更多详细模型请查阅：

Ollama官方模型列表 | Ollama官方文档 | Ollama官方Github

评论

发表评论

此博客中的热门博文

Office LTSC 专业增强版 2024安装激活，保姆级教程

-
图片
Office LTSC 专业增强版 2024 激活教程 步骤一：准备工作 卸载原有 Office 为避免冲突，请先卸载电脑上已有的任何Office版本。 注意：本教程会自动下载Office软件，无需单独下载安装包。 配置网络环境 需要访问 GitHub 下载工具软件。如果无法访问，请配置科学上网环境，或使用下文提供的备用下载链接。 下载 Office Tool Plus 这是一个强大的Office部署和管理工具。 Github 官方下载地址： Office Tool Plus 对于Windows10-11系统，请选择64位版本下载： 《Office_Tool_with_runtime_v**.**.**.*_x64.zip》 备用下载 链接： MuseTransfer下载 (取件密码：7854，无需登录、无需下载客户端) 步骤二：安装 Office 打开并设置软件 解压后，双击打开 Office Tool Plus.exe 。 首次打开可能是英文界面，点击软件左下角的 Settings ，在第一行 Language 中选择 简体中文/中国 ，软件会立即更换应用语言。 清除旧的激活信息 在软件左侧导航栏点击 “激活” > “许可证管理” ，点击“激活按钮▼”旁的箭头，选择 “清除激活信息” 。这一步是为了确保干净的安装环境。 部署设置 点击顶部的 “部署” 选项卡，开始配置Office的安装参数。 （1）常规设置 ...
阅读全文

IDM官网原版下载器：激活教程（含提示注册解决方法）

-
图片
✅IDM原版下载 + 无污染激活方法（图文教程）✅ 🚀 还在用浏览器下载？你真的太勇了！ 你点了“下载”👇 浏览器开始“发呆”😵 进度条像在走迷宫🌀 网络一抖，直接“任务失败请重试”💣 是不是每次下载都像在玩心理博弈？ 别忍了，用他—— IDM下载管理器 ！ 🌪️ 它到底有多快？ 一个字： 快 ⚡ 两个字： 很快 ⚡⚡ 三个字： 非常快 ⚡⚡⚡ 四个字： 快到离谱 💨💨💨💨 🌍 全球用户都在用！ IDM不是普通下载工具，它是下载界的“东风5C”、文件界的“高铁”、网速界的“特斯拉”。你还在用浏览器慢慢磨？醒醒吧朋友，时代变了！ ✌ 关键字：可白嫖 正题 提示： 国内用户需配置科学上网环境，激活脚本需要从Github拉取。 1. 下载与安装原版IDM 进入IDM官网下载： IDM官方网站 点击“ 试用 IDM 30 天免费试用 ”进行下载。 下载完成后，双击安装包进行安装。 如果更改了安装目录，系统会提示。点击“否”则安装到自定义路径，点击“是”则恢复默认C盘路径。关于“无法集成”的提示可以忽略，实际不影响使用。 2. 使用激活脚本 安装好软件后，以 管理员身份 打开 PowerShell （注意不是CMD命令提示符）。 输入以下命令并回车执行： iex(irm is.gd/idm_reset) 脚本来源于Github，如果无法连接，一定是和网络波动和环境有关系，可以和以下备用命令相互多次尝试： irm https://raw.githubusercontent.com/lstprjct/IDM-Activation-Script/main/IAS.ps1 | iex 按 1 进入激活程序。 按 9 继续激活。 出现此下载窗口是脚本在模拟下载行为，目的是让IDM自动创建必要的注册表项。请等待下载完成并自动关闭， 不要手动关闭 。 出现此界面，表示激活成功，按任意键退出即可。上图注释了详细的激活原理和执行过程。 ...
阅读全文