Ho provato ad installare OLLAMA per avere una AI locale su server Linux
Hai mai pensato a quanto potrebbe migliorare la tua produttività utilizzare un’intelligenza artificiale installata direttamente sul tuo server? In questo articolo, esploreremo insieme i numerosi vantaggi di un’AI locale, dai costi ridotti alla maggiore sicurezza dei dati. Avere un’AI che funziona direttamente sui tuoi dispositivi significa minori latenze e un accesso più rapido alle informazioni. Non solo, ma potrai anche personalizzare l’AI secondo le tue esigenze specifiche, rendendo la tua esperienza unica! Continua a leggere per scoprire come configurare e sfruttare al meglio questa tecnologia innovativa.
Se vuoi sperimentare e se ritieni la cosa interessante ecco i passaggi per avere la tua prima AI “indipendente”
Per prima cosa vi consiglio di utilizzare WSL di Windows che vi permette di installare da prompt un sottosistema operativo LINUX UBUNTU. E’ molto meglio che utilizzare una macchina virtuale (esempio VNWARE) in quanto con la VM poi non vi è la possibilità di utilizzare direttamente la GPU di sistema (ho provato in tutti i modi)e quindi la vostra AI funzionerebbe solo con CPU e sarebbe di fatto lentina
Vi riassumo i passaggi che dovrete fare
- installazione distro Linux UBUNTU su WSL di windows
- installazione OLLAMA
- installazione modello AI
- installazione DOCKER per GUI (facoltativo ma effetto spettacolare)
installazione WSL da prompt di Windows
wsl –install
installazione Ubuntu in WSL
wsl -d Ubuntu
Installazione di Ollama
https://ollama.com/download
Installazione modello AI
ollama pull llama2
Riga comando per monitor utilizzo GPU
watch -n 0.5 nvidia-smi
Installazione docker per GUI
# Add Docker’s official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc
# Add the repository to Apt sources:
echo \
“deb [arch=$(dpkg –print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo “$VERSION_CODENAME”) stable” | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update
#Install Dockersudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
#Run Open WebUi Docker Container
sudo docker run -d –network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 –name open-webui –restart always ghcr.io/open-webui/open-webui:main
Lascia un commento
Devi essere connesso per inviare un commento.