Ollama 應用 (1) Open-Webui

Ollama

在Local LLM的有名的Ollama網路太多說明了，就不特別多介紹，想說說的是相關的應用。

Open-Webui

單純的Ollama介面太簡單，open-webui提供了一個類似ChatGPT的介面來操作，

要實裝最快的是透過docker compose

services:
  open-webui:
    #platform: linux/arm64/v8
    container_name: open-webui
    image: ghcr.io/open-webui/open-webui:main
    extra_hosts:
      - "host.docker.internal:host-gateway"
    ports:
      - "3000:8080"
    volumes:
      - ./open-webui:/app/backend/data
networks:
  ollama:
    driver: host

這裡要注意的是設定了extra_hosts，可以直接連到本機內的其他服務。

這樣直接帶起來就是一個可以互動的web ui

透過http://localhost:3000可以看到下列畫面

自行註冊一個本機account即可，

再來加入Local Ollama的連結，這裡的host.docker.internal會指到本機，所以原來想的http://localhost:11434 就變成了 http://host.docker.internal:11434

再來的畫面就很熟悉了，不注意會覺得連到ChatGPT了。

操作上大多很直覺，實在是一個簡潔又方便的Ollama介面。