轻松上手:本地化部署AI大语言模型全攻略

第一步:

需要下载ollama,进入ollama官网下载: Download Ollama on Windows

f40b260880d0d0670745b57b4256087f.tmp_
Ollama同时支持macOS、Linux和Windows系统,选择你自己的系统进行下载即可。
纯洁是Windows电脑,所以接下来的教程是以Windows的操作为例。如果你是其他系统,不会部署的话,可以在下面评论留言。

第二步:

下载完成后,双击打开OllamaSetup.exe进行安装,点击Install即可进行安装。

bc62cc0c9fa18c7f9865c9628ee8c426.tmp_

安装完成后,鼠标右键单击一下开始图标,然后选择运行

a7ab24facc41e4e29b42f07c6af63b59.tmp_

在运行里面输入 cmd 后点击确定。
e0e8a78fa2635b94bf05babd92ca5413.tmp_
可以看到已经进入cmd窗口了

f21739317e5fc9e05f5cccb0c60c62e6.tmp_

第三步:

选择你想要部署的开源模型,访问: library (ollama.com) 在这里面可以看到全球几乎所有厂商提供的开源大语言模型。

c8f716d759fa91602448cc6025158c64.tmp_
我这里以.1为例,选择llama3.1后,左侧选择8b,然后点击右侧复制安装命令

(8b只需要电脑有4G显存就可以丝滑运行,如果你觉得自己电脑配置非常优秀,可以安装更大规模的模型)

25e04be2e65055e74c763a9f08731734.tmp_

将安装命令粘贴到cmd窗口,然后按回车键,即可开始下载。
1c1034ac377763c3de93368899b4d677.tmp_
llama3.1-8b有4个多G,需要先确保你硬盘够用。

现在已经下载完成了,可以看到自动运行起来了

59466ba82ed6e58e56f95e9ffb0028d5.tmp_

这时我们可以直接对它进行提问了

cd1803500f3c97961ada7139f00fbea2.tmp_

我的电脑是8G显存,运行llama-3.1-8b非常丝滑,一秒能蹦出20个字。

最后再讲一点ollama的维护命令:

1、后续如果关闭了cmd窗口,想要再次使用的话,可以再次打开cmd创建,执行ollama run llama3.1:8b即可运行。

2、执行 ollama list 可以看到你电脑上安装了哪些模型
00db1a3ccc5cb21f33615e5667eb5699.tmp_

3、如果你安装了多个模型,想要删除某一个模型,可以执行 ollama delete 模型名 ,例如 ollama rm llama3.1:8b
2c99e22faa9a20b0086e885940fa253e.tmp_

好了,今天的教程就是这样,下一期教你如何给ollama增加一个使用更方便的网页对话界面。

本文内容来源于公开网络,出于传递信息之目的整理发布。原文版权归原作者所有,若涉及侵权请先提供版权后联系我们删除

(0)
WP之家WP之家
上一篇 2025年3月20日 下午9:23
下一篇 2025年3月20日 下午9:28

相关推荐