第一步:
需要下载ollama,进入ollama官网下载: Download Ollama on Windows
Ollama同时支持macOS、Linux和Windows系统,选择你自己的系统进行下载即可。
纯洁是Windows电脑,所以接下来的教程是以Windows的操作为例。如果你是其他系统,不会部署的话,可以在下面评论留言。
第二步:
下载完成后,双击打开OllamaSetup.exe进行安装,点击Install即可进行安装。
安装完成后,鼠标右键单击一下开始图标,然后选择运行
在运行里面输入 cmd
后点击确定。
可以看到已经进入cmd窗口了
第三步:
选择你想要部署的开源模型,访问: library (ollama.com) 在这里面可以看到全球几乎所有厂商提供的开源大语言模型。
我这里以llama3.1为例,选择llama3.1后,左侧选择8b,然后点击右侧复制安装命令
(8b只需要电脑有4G显存就可以丝滑运行,如果你觉得自己电脑配置非常优秀,可以安装更大规模的模型)
将安装命令粘贴到cmd窗口,然后按回车键,即可开始下载。
llama3.1-8b有4个多G,需要先确保你硬盘够用。
现在已经下载完成了,可以看到自动运行起来了
这时我们可以直接对它进行提问了
我的电脑是8G显存,运行llama-3.1-8b非常丝滑,一秒能蹦出20个字。
最后再讲一点ollama的维护命令:
1、后续如果关闭了cmd窗口,想要再次使用的话,可以再次打开cmd创建,执行ollama run llama3.1:8b
即可运行。
2、执行 ollama list
可以看到你电脑上安装了哪些模型
3、如果你安装了多个模型,想要删除某一个模型,可以执行 ollama delete 模型名
,例如 ollama rm llama3.1:8b
好了,今天的教程就是这样,下一期教你如何给ollama增加一个使用更方便的网页对话界面。
本文内容来源于公开网络,出于传递信息之目的整理发布。原文版权归原作者所有,若涉及侵权请先提供版权后联系我们删除