Siguiendo esta guía, podrás alojar con éxito tu modelo preferido de DeepSeek en un laboratorio doméstico o servidor de oficina en casa, aprovechando el potencial de estos modelos de IA en un entorno privado y controlado.

DeepSeek es un potente modelo de IA que puede alojarse localmente para obtener un rendimiento más rápido, mejorar la privacidad y permitir una configuración flexible. Esta guía demuestra cómo alojar DeepSeek en un entorno de laboratorio doméstico, permitiendo el acceso desde múltiples dispositivos en tu red local. Cubriremos el alojamiento de DeepSeek, la configuración de una interfaz web y su ejecución como un servicio siempre en línea.

¿Por qué alojar DeepSeek de forma local?

DeepSeek-R1 es un modelo de 671B con una arquitectura de Mezcla de Expertos (MoE) que requiere 1.5 TB de VRAM, lo que lo hace poco práctico para hardware de consumo. Los modelos destilados de DeepSeek-R1, como DeepSeek-R1-Distill-Qwen-7B y DeepSeek-R1-Distill-LLaMA-70B, son versiones ajustadas de modelos de código abierto como LLaMA y Qwen, entrenados con datos generados por DeepSeek-R1. Por lo tanto, heredan las capacidades de razonamiento de DeepSeek mientras son mucho más eficientes para alojar localmente.

Alojar DeepSeek localmente te ofrece:

• Privacidad: Los datos están en tu infraestructura, no en servidores de terceros.
• Velocidad: Baja latencia de red, especialmente si ejecutas modelos más pequeños.
• Hardware personalizado: Configura CPU, GPU y asignación de memoria según tus necesidades.
• Escalabilidad: Expande tu laboratorio doméstico según sea necesario.
• Control: Sin dependencias externas ni bloqueo de proveedores.
• Aprendizaje: Mejora tus habilidades gestionando y optimizando tu propia infraestructura de IA.

¿Por qué no?

Algunos de los desafíos son:

• Sesgo del modelo y censura: Respuestas restringidas/censuradas en temas sensibles (o utiliza open-r1).
• Costo: Altos gastos iniciales y continuos en hardware y electricidad.
• Longevidad: Los futuros modelos de IA probablemente requerirán actualizaciones de hardware con bastante frecuencia.
• Mantenimiento: Requiere actualizaciones regulares y mantenimiento técnico continuo.
• Límites de escalabilidad: El espacio físico, el ruido y los desafíos térmicos pueden dificultar la expansión.

Preparación para alojar DeepSeek de forma local

Antes de configurar DeepSeek, asegúrate de que tu sistema cumpla con los requisitos de hardware necesarios, especialmente si vas a ejecutar modelos más grandes que requieren alta RAM y recursos de GPU.

• CPU: Procesador potente de múltiples núcleos (se recomiendan 12 o más núcleos) para manejar múltiples solicitudes.
• GPU: GPU NVIDIA con soporte CUDA para un rendimiento acelerado. AMD también funcionará (menos popular/probado).
• RAM: Mínimo 16 GB, preferiblemente 32 GB o más para modelos más grandes.
• Almacenamiento: Almacenamiento NVMe para operaciones de lectura/escritura más rápidas.
• Sistema operativo: Se prefieren Ubuntu o distribuciones basadas en Ubuntu por compatibilidad.

Si buscas una versión de DeepSeek-R1 sin censura ni restricciones de contenido, prueba open-r1. Para obtener más información sobre los modelos destilados oficiales, consulta los documentos de DeepSeek.

Ejecutar DeepSeek con una interfaz web (Open WebUI)

Aprovechando Open WebUI, puedes interactuar fácilmente con DeepSeek a través de un panel centralizado y fácil de usar, accesible desde cualquier dispositivo en tu red local. Open WebUI se puede instalar utilizando pip, el instalador de paquetes de Python.

Instalar Open WebUI:

Abre tu terminal y ejecuta el siguiente comando para instalar Open WebUI:

pip install open-webui

Alternativamente, puedes instalarlo con Snap:

sudo apt update
sudo apt install snapd
sudo snap install open-webui --beta

Ejecutar Open WebUI:

Después de la instalación, puedes iniciar Open WebUI ejecutando:

open-webui serve

Esto iniciará el servidor de Open WebUI, al que puedes acceder en http://localhost:8080 o reemplazar localhost con la dirección IP local de tu servidor para acceder desde otros dispositivos en tu red. ¡Más sobre eso más adelante!

Permitir Open WebUI (Puerto 8080) desde la red local:

Reemplaza 192.168.1.0/24 con la subred de tu red local si es diferente.

sudo ufw allow from 192.168.1.0/24 to any port 8080 proto tcp

Túnel SSH desde tu máquina local:

En tu máquina local, ejecuta:

ssh -L 8080:localhost:8080 usuario@192.168.1.100

• Seguridad: El tráfico está encriptado a través del túnel SSH.
• Sin puertos adicionales abiertos: Incluyendo el puerto SSH, que solo es accesible desde tu red local.
• Fácil: Utiliza la infraestructura SSH existente. Es probable que ya tengas SSH habilitado en un servidor doméstico u oficina.

Conclusión

Alojar DeepSeek de forma local te permite aprovechar el poder de los modelos de IA en un entorno privado y controlado, adaptado a tus necesidades específicas. Aunque existen desafíos, los beneficios en términos de privacidad, control y aprendizaje son significativos.