Llama3
Ollama部署Llama3
Ollama的地址:https://github.com/ollama/ollama
Ollama是一个开源框架,旨在帮助用户在其本地计算机上轻松管理和部署大型语言模型(LLM)。它不仅仅支持Llama3,还支持阿里开源的千问2.5
部署Ollama
conda create -n ollama python=3.10
conda activate ollama
export OLLAMA_MODELS=/mnt/workspace/models
curl -fsSL https://ollama.com/install.sh | sh
安装成功后执行
ollama serve
另外开启一个终端运行
ollama run llama3.2