README.md

metadata

title: FLUX.1 Dev ControlNet Union Pro
emoji: 🖼
colorFrom: purple
colorTo: red
sdk: gradio
sdk_version: 5.35.0
app_file: app.py
pinned: false
license: other

FLUX.1-dev ControlNet Union Pro: Advanced Image Generation with Multiple Control Modes

This application implements a sophisticated image generation system using FLUX.1-dev with ControlNet Union Pro, offering multiple control modes for precise image generation guidance. The system allows users to generate high-quality images while maintaining specific structural or stylistic constraints from reference images.

Key Features

1. Multiple Control Modes

• Canny: Edge-based control using Canny edge detection
• Depth: 3D depth information guidance using Depth Anything V2
• OpenPose: Human pose-based generation
• Grayscale: Luminance-based control
• Blur: Gaussian blur for soft guidance
• Tile: Resolution-independent tiling control
• LowQuality: Noise-based control for enhancement tasks

2. Flexible Input Options

• Direct upload of pre-processed control images
• Automatic extraction of control conditions from reference images
• Support for various image formats and resolutions
• Intelligent image resizing and preprocessing

3. Advanced Generation Parameters

• Control Strength (0-1.0): Adjust how strongly the control influences generation
• Inference Steps (1-50): Balance between quality and speed
• Guidance Scale (1-10): Control prompt adherence
• Seed Control: Reproducible results with manual or random seeds

4. Technical Architecture

• Based on FLUX.1-dev diffusion model
• Multi-ControlNet support for combined control modes
• Depth Anything V2 (Large) for accurate depth estimation
• GPU-accelerated processing with CUDA support
• Memory-optimized with VAE tiling and CPU offloading

How It Works

1. Control Image Input: Either upload a pre-processed control image or let the system extract it from a reference image
2. Control Mode Selection: Choose the appropriate control type for your use case
3. Prompt Input: Describe the desired output (defaults to "Highest Quality")
4. Parameter Tuning: Adjust control strength and generation settings
5. Generation: The model creates an image following both the prompt and control guidance

Use Cases

• Image Enhancement: Use LowQuality mode to enhance degraded images
• Style Transfer: Apply artistic styles while preserving structure (Canny/Depth)
• Pose-Guided Generation: Create images with specific human poses
• Consistent Character Design: Maintain structural consistency across variations
• Architectural Visualization: Use depth control for accurate spatial representations
• Texture Synthesis: Tile mode for seamless pattern generation

The system provides real-time feedback by showing both the generated result and the preprocessed control condition, helping users understand and refine their control inputs for optimal results.

---

FLUX.1-dev ControlNet Union Pro: 다중 제어 모드를 활용한 고급 이미지 생성

이 애플리케이션은 FLUX.1-dev와 ControlNet Union Pro를 사용하여 정교한 이미지 생성 시스템을 구현하며, 정밀한 이미지 생성 가이드를 위한 다양한 제어 모드를 제공합니다. 사용자는 참조 이미지의 특정 구조나 스타일 제약을 유지하면서 고품질 이미지를 생성할 수 있습니다.

주요 기능

1. 다중 제어 모드

• Canny: Canny 엣지 검출을 사용한 엣지 기반 제어
• Depth: Depth Anything V2를 사용한 3D 깊이 정보 가이드
• OpenPose: 인체 포즈 기반 생성
• Grayscale: 명도 기반 제어
• Blur: 부드러운 가이드를 위한 가우시안 블러
• Tile: 해상도 독립적인 타일링 제어
• LowQuality: 향상 작업을 위한 노이즈 기반 제어

2. 유연한 입력 옵션

• 사전 처리된 제어 이미지 직접 업로드
• 참조 이미지에서 제어 조건 자동 추출
• 다양한 이미지 형식 및 해상도 지원
• 지능적인 이미지 크기 조정 및 전처리

3. 고급 생성 매개변수

• Control Strength (0-1.0): 제어가 생성에 미치는 영향 조절
• Inference Steps (1-50): 품질과 속도 간 균형 조절
• Guidance Scale (1-10): 프롬프트 준수도 제어
• Seed Control: 수동 또는 랜덤 시드로 재현 가능한 결과

4. 기술적 구조

• FLUX.1-dev 확산 모델 기반
• 결합된 제어 모드를 위한 Multi-ControlNet 지원
• 정확한 깊이 추정을 위한 Depth Anything V2 (Large)
• CUDA 지원 GPU 가속 처리
• VAE 타일링과 CPU 오프로딩으로 메모리 최적화

작동 방식

1. 제어 이미지 입력: 사전 처리된 제어 이미지 업로드 또는 참조 이미지에서 자동 추출
2. 제어 모드 선택: 사용 목적에 맞는 적절한 제어 유형 선택
3. 프롬프트 입력: 원하는 출력 설명 (기본값: "Highest Quality")
4. 매개변수 조정: 제어 강도 및 생성 설정 조절
5. 생성: 모델이 프롬프트와 제어 가이드를 모두 따르는 이미지 생성

활용 사례

• 이미지 향상: LowQuality 모드로 열화된 이미지 개선
• 스타일 전송: 구조를 보존하면서 예술적 스타일 적용 (Canny/Depth)
• 포즈 기반 생성: 특정 인체 포즈로 이미지 생성
• 일관된 캐릭터 디자인: 변형 간 구조적 일관성 유지
• 건축 시각화: 정확한 공간 표현을 위한 깊이 제어 사용
• 텍스처 합성: 매끄러운 패턴 생성을 위한 타일 모드

이 시스템은 생성된 결과와 전처리된 제어 조건을 모두 보여줌으로써 실시간 피드백을 제공하며, 사용자가 최적의 결과를 위해 제어 입력을 이해하고 개선하는 데 도움을 줍니다.