Proxies locales de inferencia de IA
Infraestructura modular y distribuida de IA local desplegada en máquinas dedicadas, con descubrimiento dinámico mediante proxies y gestión del ciclo de vida de VRAM.
- MÓDULOS
- 0/11
- VRAM
- 0/32 GB
- DESTINO
- LOCAL
- GPU
- APAGADA
- INACTIVO
- 10 min
EstadoSelecciona un servicio y pulsa un cliente
Todos los valores son demostrativos e ilustrativos; no representan rendimiento, latencia, caudal ni datos de producción. El proxy descubre modelos dinámicamente y oculta los archivos de proyector. TTS funciona hoy solo por CPU; STT y Browser siguen en evaluación. Obsidian está conectado como carpeta, todavía sin MCP.
01
Una arquitectura distribuida y fiable de IA local con servicios aislados en máquinas de hardware dedicadas: un proxy central ofrece una pasarela compatible con OpenAI, enruta tareas a nodos de cómputo modulares y recupera la memoria de la GPU tras inactividad.
02
Las configuraciones locales monolíticas de IA suelen agrupar inferencia, scraping web, recuperación documental y búsqueda vectorial en un único host, provocando contención de recursos, dominios de fallo inestables y fugas de memoria GPU. Un entorno de homelab fiable requiere distribuir los servicios en sus propias máquinas dedicadas exponiendo una interfaz única, modular y fiable a las herramientas cliente.
Personas que evalúan infraestructura de IA autoalojada y quieren ver cómo la inferencia local, el procesamiento de documentos y las herramientas de agentes pueden compartir una máquina sin depender de la nube.
03
Trabajo independiente/de portfolio: diseño y operación de los proxies y de los servicios locales que los rodean.
04
- Distribuir servicios especializados de IA y datos en sus propias máquinas de hardware dedicadas (nodo de inferencia, scraping, almacén vectorial y hosts cliente)
- Las aplicaciones cliente (Hermes, OpenCode, Open WebUI) se conectan a un proxy de inferencia central compatible con OpenAI
- El proxy verifica tokens bearer y descubre dinámicamente modelos disponibles, filtrando archivos de proyector internos
- Ante una petición, el proxy activa el nodo del motor, iniciando la inferencia y cargando pesos en memoria de la GPU
- Enrutar tareas de voz, OCR, extracción web y agentes a sus servicios modulares dedicados a través de redes internas aisladas
- Transmitir respuestas en streaming de forma fiable con formato compatible con OpenAI
- Recuperar automáticamente toda la VRAM y descargar pesos tras 10 minutos de inactividad, manteniendo la GPU disponible para otras cargas de cómputo
05
- Distribución de subsistemas de IA en sus propias máquinas para aislar dominios de fallo, evitar contención de memoria y hacer cada servicio modular e independientemente actualizable.
- Estandarización en una interfaz proxy compatible con OpenAI para que cualquier herramienta cliente se conecte de forma intercambiable.
- Política automática de parada tras 10 minutos de inactividad para liberar por completo la VRAM para otras tareas del sistema.
- Enrutamiento de la salida de scraping y extracción web estrictamente a través de límites de red VPN aislados.
- Desacoplamiento de la síntesis de audio en CPU frente a la inferencia intensiva de visión y lenguaje en GPU.