Ho provato ad installare OLLAMA per avere una AI locale su server Linux
Hai mai pensato a quanto potrebbe migliorare la tua produttività utilizzare un’intelligenza artificiale installata direttamente sul tuo server? In questo articolo, esploreremo insieme i numerosi vantaggi di un’AI locale, dai costi ridotti alla maggiore sicurezza dei dati. Avere un’AI che funziona direttamente sui tuoi dispositivi significa minori latenze e un accesso più rapido alle informazioni. Non solo, ma potrai anche personalizzare l’AI secondo le tue esigenze specifiche, rendendo la tua esperienza unica! Continua a leggere per scoprire come configurare e sfruttare al meglio questa tecnologia innovativa.
Se vuoi sperimentare e se ritieni la cosa interessante ecco i passaggi per avere la tua prima AI “indipendente”
Per prima cosa vi consiglio di utilizzare WSL di Windows che vi permette di installare da prompt un sottosistema operativo LINUX UBUNTU. E’ molto meglio che utilizzare una macchina virtuale (esempio VNWARE) in quanto con la VM poi non vi è la possibilità di utilizzare direttamente la GPU di sistema (ho provato in tutti i modi)e quindi la vostra AI funzionerebbe solo con CPU e sarebbe di fatto lentina
Vi riassumo i passaggi che dovrete fare
- installazione distro Linux UBUNTU su WSL di windows
- installazione OLLAMA
- installazione modello AI
- installazione DOCKER per GUI (facoltativo ma effetto spettacolare)
WINDOWS
Se installazione su WSL da prompt di Windows
wsl –install
installazione Ubuntu in WSL
wsl -d Ubuntu
Installazione di Ollama
https://ollama.com/download
LINUX UBUNTU
verifica se i driver NVIDIA sono installati (se vuoi GPU)
nvidia-smi
Installa Docker (opzionale, solo se userai GUI come OpenWebUI)
Non necessario per Ollama CLI, ma utile se vuoi la GUI:
sudo apt install docker.io -y
sudo systemctl enable –now docker
sudo usermod -aG docker $USER
Installa Ollama
Ollama fornisce un installer ufficiale per Linux. Esegui:
curl https://ollama.com/install.sh | bash
Questo installerà Ollama in /usr/local/bin/ollama
Verifica versione:
ollama version
Installazione modello AI
ollama pull llama2
Verifica modelli installati
ollama list
Riga comando per monitor utilizzo GPU
watch -n 0.5 nvidia-smi
se si vuole GUI in container:
Rimuovi completamente il container OpenWebUI se esistente in precedenza
docker stop open-webui
docker rm open-webui
docker rmi ghcr.io/open-webui/open-webui:main
(verifica che non resti nulla)
docker ps -a
Verifica che Ollama sia raggiungibile dalla VM
Da Ubuntu VM, deve rispondere:
curl http://127.0.0.1:11434/api/tags
Avvia OpenWebUI CORRETTAMENTE (configurazione consigliata)
Metodo più affidabile (host networking)
Questo evita tutti i problemi di binding / localhost / bridge.
docker run -d \
–name open-webui \
–restart unless-stopped \
–network=host \
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
-v open-webui-data:/app/backend/data \
ghcr.io/open-webui/open-webui:main
Accesso alla GUI
Apri dal browser (PC o rete):
http://192.168.123.139:8080
verifica modelli Ollama disponibili sul web
AGGIORNAMENTI del docker
Scarica la versione aggiornata
docker pull ghcr.io/open-webui/open-webui:main
Ferma e rimuovi il container attuale
docker stop open-webui
docker rm open-webui
Ricrea il container (IDENTICO al precedente)
docker run -d \
–name open-webui \
–restart unless-stopped \
–network=host \
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
-v open-webui-data:/app/backend/data \
ghcr.io/open-webui/open-webui:main
Verifica rapida
docker ps
docker logs open-webui –tail=20
a questo link tutti i dettagli (thanks all’autore)
https://www.itflashcards.com/blog/it/ollama-open-webui-eseguire-llm-localmente/
Lascia un commento
Devi essere connesso per inviare un commento.