type
status
date
slug
summary
tags
category
icon
password
部署环境
- 系统：Windows 11
- CPU：8核/16线程 AMD Ryzen™ 7 7840HS
- 显卡：AMD Radeon™ 780M 12core 2700 MHz
- 内存：32GB DDR5. Dual SO-DIMM
- 硬盘：2TB SSD. PCIe 4.0 M.2 NVMe.
- 模型：llama3.1 8B、Qwen2 7B
什么是 ollama
ollama 是一个为快速部署和运行大型语言模型（如 Llama 3、Gemma）而设计的工具，它允许用户在个人电脑上通过简单的命令行界面来使用这些模型。
ollama官网
ollama - Github
安装 ollama 部署 llama3
步骤1
登录官网，下载应用程序，下载完成后安装应用。
步骤2
安装完成后，打开命令窗口：同时按 win+r 键，输入
cmd ，点击确定输入命令
ollama ，如下图所示则表示安装成功。
步骤3
ollama 安装成功后就可以部署模型了，选择想要部署的模型，输入对应的运行命令。
运行成功后会自动下载大模型，默认保存在C盘，出现 success，并提示 Send a message，表示模型已成功启动，可以输入问题。
步骤4
输入一个问题，测试效果。
步骤5
终止模型任务：输入
Ctrl + d 或者 /bye🤗 总结归纳
文本大模型对电脑的内存要求较高，绘图大模型对电脑的显存要求较高，所以在内存白菜价的当下，我建议大家可以先把玩线下大模型，至于绘图大模型如Comfyui和stable diffusion的知识建议在云主机上实操，比如autodl算力云平台（推荐学生使用，性能稳定，价格便宜，性价比目前没有超越者）。
📎 参考文章
- 感谢抖音up主：鹏哥的AI 的抖音视频 link
- 参考文章（基本框架参考）：
- Author:Paddy
- URL:https://www.oatgnik.top/article/10c8117a-64bb-428d-b864-42f185794aa8
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!