在个人服务器上部署llama3 8B模型

最近在各大平台上都被“llama”和“AI”这两个词刷屏，我一开始还好奇怎么羊驼能跟AI也能联系到一起，后来才知道llama是Meta的一个开源AI大模型。最近他们刚开源了llama3模型，估计闻到血腥味的国内AI公司们马上又要迎来一波技术突破。不过有个信息吸引到了我，树莓派也能本地部署llama 3模型，因此我决定就不等国产AI大模型突破了，我自己先捣腾捣腾。

查阅了一些资料后对llama也有了一些认识，Meta近期发布了两款llama 3模型，一个是8B，即80亿参数；另一个是70B，即700亿参数。

网上有很多的帖子教大家如何在个人电脑上部署llama3 8B模型。因为树莓派是arm构架里面很多软件安装起来特别麻烦我不敢随便装东西，所以就准备安装到服务器上，虽说我的服务器没有显卡但是64G的内存运行个llama3 8B应该是绰绰有余。

部署过程

首先，安装ollama，网址 ollma。

因为我用的是ubuntu系统，所以直接终端运行中间的命令。

然后等待安装就行，时间有点长。

最后就是下载llama3了，直接在终端运行就好了。

ollama run llama3

它会默认下载llama3:8b，所以不用担心。

完成后就可以进行测试了，随便问个问题。

不过8B的模型的中文貌似不太行，大部分时候还得英语交流。

不过只能使用终端也不是办法，我还是希望能够远程使用本地部署的AI模型，这边使用的是open-webui，网址openwebui。

这边需要使用docker，我是好久前安装的，依稀记得挺麻烦，不会的老表可以自己百度。

问题处理

在“select a model”下拉框选择对应的模型就行了，不过你可能会遇到一些错误，open-webui的github给了一些处理方法。

If you’re experiencing connection issues, it’s often due to the WebUI docker container not being able to reach the Ollama server at 127.0.0.1:11434 (host.docker.internal:11434) inside the container . Use the –network=host flag in your docker command to resolve this. Note that the port changes from 3000 to 8080, resulting in the link: http://localhost:8080.

Example Docker Command:

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

现在可以使用本地部署的AI模型啦。

讨论

1. 在个人电脑上部署llama3 8B模型过程还是比较简单的。
2. llama3 8B还有一些不足，语言主要是英语，在回答一些问题的时候还是会出现扯蛋情况。
3. llama3 8B做为个人私有化部署还是有较大的优势，免去了一些付给二道贩子的费用，完全免费，如果自己有个服务器的话可以随时随地使用。
4. 最后私有化部署的优势就是安全，无论是个人还是公司无论是隐私还是机密都是需要保护的。
5. 后续继续看看这个还能怎么玩。