AI-搭建本地chtgpt生成文字和圖片 - Ollama

本地可離線用的AI，使用WebUI來操作

搭建本地用的AI，使用Ollama + Open WebUI 和 Stable Diffusion web UI (AUTOMATIC1111)與ComfyUI，網路上很多都是用docker，但我這邊是直接安裝使用，除了方便安裝建置之外，也能減少容器化造成的GPU驅動問題和效能衰減.

Ollama可以很方便在本地建置AI模型，這邊除了安裝之外，還會設定如何指定模型存放位置，而不再是只能放在家目錄而已

Open WebUI則可以像使用ChatGPT那樣，用瀏覽器去操作使用，也能透過它來對ollama中的模型進行管理

Stable Diffusion web UI (AUTOMATIC1111) 與 ComfyUI 這個大名鼎鼎的生成式繪圖相信有研究的都知道就不贅述了

Ollama的安裝:

到ollama的網站找對應的平台下載 (https://ollama.com/download)

安裝後可設定環境變數存放模型位置，設置環境變數 OLLAMA_MODELS ，指定模型(model)的存放位置

本機 -> 內容 -> 進階 -> 進階系統設定 -> 進階 -> 環境變數 ，然後新增設定

設定完後可以開啟終端來測試檢查模型位置是否有變更

ollama pull llama3

而ollama支援的模型也可以在官網那邊查看

預設是使用llama3 8b，如果要指定模型類型則只要指定tag即可

下載好模型後，執行ollama來進行使用測試，可使用 /? 來查詢協助，/bye 則可以離開

ollama run llama3

Open WebUI 的安裝:

可參考 ( https://docs.openwebui.com/ )

先安裝 node.js (>=20.10)和 Python (>=3.11)，依指示建置，python可建立虛擬環境後再安裝套件

git clone https://github.com/open-webui/open-webui.git
cd open-webui/
copy .env.example .env
npm i
npm run build
cd ./backend
# 可以python安裝虛擬環境後再安裝套件
pip install -r requirements.txt -U
start_windows.bat

成功後，就可以用瀏覽器來登入設置，以後啟動只要使用 start_windows.bat 即可

瀏覽器輸入 http://<ip>:8080，然後第一次登入點Sign up註冊

右上角進行設定，可設置語言

也有提供API Key和語音設置等

模型 這邊可以管理ollama的模型，和圖片設定一樣，如果有正確設定，則會自動帶入已存在模型可以選

注意的是，automatic1111部分要記得先開啟API，然後可以先測試看是否能用

接著就可以測試使用了，

對話文字生成測試OK

圖形生成測試OK