Guía ControlNet Union: El Nodo Todo-en-Uno de ComfyUI

La evolución de la inteligencia artificial generativa ha pasado de modelos simples que seguían prompts de texto a sistemas complejos capaces de interpretar estructuras espaciales. Hasta hace poco, si querías que una imagen siguiera una pose específica, una profundidad concreta y unos bordes determinados, necesitabas cargar tres modelos de ControlNet diferentes, lo que consumía una cantidad ingente de VRAM y complicaba el workflow hasta hacerlo inmanejable.

ControlNet Union llega para resolver este problema. Es el modelo definitivo que unifica las capacidades de múltiples redes de control en un solo archivo, permitiendo una versatilidad sin precedentes en ComfyUI, especialmente para modelos de nueva generación como FLUX.

🏗️ ¿Qué es ControlNet Union y por qué es una Revolución?

ControlNet Union no es simplemente una “colección” de modelos, sino una arquitectura entrenada para ser multimodal desde su base. Tradicionalmente, cada ControlNet (como Canny o OpenPose) era una copia pesada del modelo base con capas adicionales entrenadas para una tarea específica.

ControlNet Union (desarrollado por equipos como X-Labs e InstantX) utiliza una técnica de entrenamiento donde un único modelo aprende a interpretar diferentes canales de entrada. Esto significa que:

1. Ahorras espacio en disco: Un solo archivo de ~2.5GB sustituye a 8 o 10 modelos individuales.
2. Eficiencia de VRAM: Al ser un solo modelo, la gestión de memoria de ComfyUI es mucho más eficiente, evitando cargas y descargas constantes de la GPU.
3. Simultaneidad nativa: Puedes “decirle” al modelo que la entrada A es una pose y la entrada B es un mapa de profundidad, y él lo procesará de forma integrada.

🏗️ Instalación Paso a Paso: ComfyUI-ControlNet-Union

Para utilizar esta tecnología, no basta con descargar el modelo; necesitamos nodos que entiendan cómo hablarle a esta arquitectura unificada.

🏗️ 1. Instalación de Custom Nodes

La implementación más popular y estable actualmente es la de X-Labs.

1. Abre tu ComfyUI Manager.
2. Busca e instala: ComfyUI-XLabs-AI.
3. Reinicia ComfyUI completamente.

Alternativamente, vía terminal en tu carpeta custom_nodes:

git clone https://github.com/XLabs-AI/x-flux-comfyui

🏗️ 2. Descarga del Modelo Maestro

Debes descargar el modelo FLUX.1-dev-ControlNet-Union-Pro. Lo encontrarás en Hugging Face bajo el repositorio de Shakker-Labs o X-Labs.

🏗️ Configuración del Nodo: El Cerebro de la Unión

El corazón de este workflow es el nodo “Apply Flux ControlNet” combinado con “Set Union ControlNet Type”. Aquí es donde ocurre la magia.

🏗️ Anatomía del Workflow

Para que ControlNet Union funcione con múltiples entradas, el esquema debe ser el siguiente:

1. Preprocesadores: Nodos individuales para Canny, Depth (usando Zoe o MiDaS) y OpenPose.
2. Selector de Tipo (Set Union ControlNet Type): Este nodo es obligatorio. Se coloca entre el preprocesador y el nodo de aplicación. Tiene un menú desplegable donde seleccionas:
   • 0: Canny
   • 1: Tile
   • 2: Depth
   • 3: Blur
   • 4: Pose
   • 5: Gray
   • 6: Low Res
3. Nodo de Aplicación (Apply Flux ControlNet): Recibe la imagen preprocesada, el tipo definido y el modelo Union.

🏗️ Ejemplo Práctico: Combinando Pose, Depth y Canny en un Solo Nodo

Imagina que quieres generar un personaje en una pose de yoga muy específica (Pose), dentro de una habitación cuya estructura quieres mantener (Depth), y con un patrón de ropa determinado (Canny).

🏗️ Configuración de los Nodos

1. Pose: Conecta tu imagen de referencia a un nodo DWPose Estimator. La salida va a un Set Union ControlNet Type configurado en Pose.
2. Depth: Otra imagen (o la misma) a un Depth Map Estimator. La salida a un Set Union ControlNet Type configurado en Depth.
3. Canny: Salida a Set Union ControlNet Type configurado en Canny.

🏗️ El Encadenamiento (Chaining)

En ComfyUI, para usar múltiples controles, debes encadenar las condiciones (Conditioning).

• Conecta el Conditioning de tu Prompt Positivo al primer Apply Flux ControlNet.
• La salida de este va al Conditioning del segundo.
• La salida del segundo al tercero.
• Finalmente, el último Conditioning se conecta al Sampler.

🏗️ Gestión de VRAM y Optimización para GPUs Modestas

FLUX y ControlNet Union son el “Crysis” de la IA generativa actual. Si tienes menos de 16GB de VRAM, sigue estos consejos:

1. Uso de GGUF: No uses el modelo flux1-dev.safetensors original de 23GB. Usa las versiones GGUF (Q4_K_M o Q5_0). Esto reducirá el uso de memoria a la mitad sin pérdida perceptible de calidad.
2. Modo FP8: Configura los pesos de ControlNet en fp8 en las opciones del nodo de carga.
3. VAE Tiled: Si recibes errores de memoria al decodificar la imagen final, usa el nodo VAE Decode (Tiled). Divide la imagen en fragmentos pequeños para que la GPU pueda procesarlos uno a uno.
4. Resolución: No intentes generar a 2K directamente con ControlNet Union activado. Quédate en 1024x1024 o 1216x832 y luego haz un Upscale (consulta nuestra guía de upscaling 4K).

🏗️ FAQ Técnico: Resolviendo Problemas Comunes

🏗️ ¿Puedo usar este modelo con Stable Diffusion 1.5 o XL?

No directamente. El modelo Union Pro de X-Labs está diseñado para la arquitectura de FLUX. Sin embargo, existen versiones “Union” simplificadas para SDXL de InstantX que siguen una lógica similar, aunque menos potentes.

🏗️ ¿Por qué obtengo una imagen gris o con ruido aleatorio?

Esto suele ser un desajuste entre el Sampler y el ControlNet. Asegúrate de que el XLabs Sampler tenga los mismos steps y cfg recomendados para el modelo base que estás usando. Para FLUX Dev, lo ideal son 20-30 steps y un guidance_scale de 3.5.

🏗️ ¿Qué hace el parámetro ‘Global Average Pooling’?

Si lo activas, el ControlNet intentará entender la imagen de forma global en lugar de pixel por pixel. Es útil para el modo Gray o Low Res, pero para Pose o Canny suele ser mejor dejarlo desactivado para mantener la precisión quirúrgica.

Dominar ControlNet Union es el paso definitivo para convertirte en un experto en ComfyUI. Ya no estás limitado por lo que la IA “quiere” dibujar, sino que tienes el control total sobre la estructura, la profundidad y la anatomía de tus creaciones.

Si te interesa profundizar más en cómo refinar tus imágenes una vez generadas, no te pierdas nuestra guía avanzada de Inpainting para manos, donde llevamos el control de detalle al siguiente nivel.