Modelos a descargar mas usados para dispositivos con bajos recursos de hardware:

Size Context Input Model

2.02 GB 3B  128k  text  Llama-3.2-3B-Instruct-GGUF (Meta)
2.5 GB 3.8B  128k  text  phi-4-mini-reasoning (Microsoft)
2.5 GB 4B  256k  text  qwen3-4b-thinking-2507 (Alibaba)
5.2 GB 8B  128k  text  DeepSeek-R1 (Deepseek)
14 GB 20B  128k  text  gpt-oss-20b (OpenAI)

Para instalar Ollama en Jetson Orin Nano primero abrimos una terminal para verificar la versión de JetPack y ver si es compatible:
$ head -n 1 /etc/nv_tegra_release

Y aparece
@R36 (release), REVISION: 4.4, GCID 41062509, BOARD: generic, EABI: aarch64, DATE: Mon Jun 16 16:07:13 UTC 2025

Antes de iniciar con la instalación se recomienda revisar la cantidad de memoria RAM disponible con el comando:
$ free -h

Otra forma de verificar la memoria es con el siguiente comando:
$ vmstat -s

NOTA: Cada modelo que se quiera probar consume diferente cantidad de memoria.

Se requiere al menos 7GB de espacio en disco duro para instalar Ollama, a parte se requiere espacio para cada modelo que se quiera descargar. Para verificar nuestro espacio en disco duro usamos el comando:
$ df -h

Para descargar Ollama:
$ curl -fsSL https://ollama.com/install.sh | sh

Nos pregunta la clave del administrador:
[ sudo ] password for rogelio:

A continuación tarda un poco en lo que descarga e instala Ollama. Para ver si ya quedó instalado usamos el comando:
$ ollama --version

Lo siguiente es descargar alguno de los modelos, empezando con el Llama 3.2 (Meta):
$ ollama pull llama3.2:3b

Para ver una lista de los LLMs instalados:
$ ollama list

Para ejecutar el modelo que acabamos de descargar
$ ollama run llama3.2:3b

Tarda un poco en cargarlo y aparece el indicador del ollama:
>>>

Y ahí podemos escribir nuestro prompt:
>>> Cuál es la capital de Michoacán? (contesta con una sola palabra)

Ya aparece:
La respuesta es: Morelia

Para salir de Ollama:
>>> /bye

Podemos instalar otros modelos y para ver una lista de modelos que se pueden instalar en Ollama podemos consultar la página:
https://ollama.com/search

Para descargar “Phi” (Microsoft)
$ ollama pull phi4-mini:3.8b

Para descargar “Qwen” (Alibaba)
$ ollama pull qwen3:4b

Para descargar “Deepseek” (Deepseek)
$ ollama pull deepseek-r1:8b

Para descargar “ChatGPT” (OpenAI)
$ ollama pull gpt-oss:20b

Para hacer un programa que se conecte a uno de nuestros modelos hay que levantar el servidor de Ollama para recibir peticiones desde un programa, para ello levantamos el servidor:
$ ollama serve

Si marca error (por default corre en el puerto 11434) lo podemos cambiar por el 8080 (o cualquier otro disponible) con las 2 siguientes instrucciones:
$ export OLLAMA_HOST=0.0.0.0:8080
$ ollama serve

Para ver si funciona podemos abrir un navegador y teclar la dirección:
localhost:8080

Y debemos observar en la pantalla del navegador el mensaje:
Ollama is running

Si queremos que ya siempre corra en el puerto 8080 editamos el archivo de configuración:
$ sudo nano /etc/systemd/system/ollama.service

Y agregamos al final lo siguiente:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Grabamos el archivo y reiniciamos la computadora, o simplemente reiniciamos el servicio de “ollama” con las siguientes instrucciones:
$ sudo systemctl daemon-reload
$ sudo systemctl restart ollama

Ahora hay que hacer un programa en Python que requiere instalar la biblioteca "ollama" (pip3 install ollama) con el siguiente código:

import ollama
modelo = “phi4-mini:3.8b”
prompt = "Cómo te llamas?”
resultado = ollama.generate(modelo, prompt)
print(resultado[‘response’])

Al ejecutarlo se conectará al modelo “phi4-mini:3.8b” (previamente descargado), le enviará el prompt "Cómo te llamas?” e imprimirá la respuesta.

---