IA locale pour production graphique : ComfyUI, bases et développement (initiation)

L'essor de l'intelligence artificielle générative transforme la manière dont les professionnels de l'architecture conçoivent, explorent et présentent leurs projets.

ComfyUI, basé sur Stable Diffusion, offre une approche nodale puissante et flexible permettant une grande maîtrise sur la génération d’images.

Ce cours, spécialement conçu pour les architectes, maîtres d’ouvrage, promoteurs et services techniques, vise à les initier à cet outil afin d’enrichir leur processus de création et de communication visuelle.

À travers une approche progressive et pratique, les participants découvriront comment utiliser ComfyUI pour explorer des alternatives conceptuelles, simuler des ambiances et affiner leur communication graphique.

Ce programme vise à donner une vue d’ensemble des capacités de ComfyUI tout en structurant un apprentissage progressif jusqu’à l’installation et la personnalisation d’une IA locale. À l’issue de la formation, les participants seront capables de :

• Comprendre les principes fondamentaux de l’IA générative appliquée à l’architecture et à la ville.
• S’initier à l’interface et aux fonctionnalités essentielles de ComfyUI.
• Maîtriser les différents types de modèles (checkpoints, Loras, VAE) et leurs usages.
• Apprendre à structurer des prompts efficaces pour contrôler les styles et ambiances.
• Explorer l’utilisation de ControlNet pour intégrer des esquisses, plans et modèles 3D.
• Expérimenter des workflows avancés pour l’idéation et la présentation de projets architecturaux.
• Intégrer ComfyUI dans un processus de conception numérique et collaboratif.

• Produire des images et rendus conceptuels en maîtrisant la composition et l’ambiance.
• Transformer des esquisses ou plans en rendus réalistes avec l’aide de ControlNet.
• Expérimenter différentes matérialités et ambiances pour tester des variantes de projet.
• Optimiser les paramètres de génération pour obtenir des images cohérentes et exploitables.

• Structurer des workflows personnalisés adaptés aux besoins des agences et bureaux d’étude.
• Comprendre les limites et opportunités des IA génératives dans la pratique architecturale.
• Automatiser certaines tâches visuelles pour accélérer la production de documents graphiques.
• Intégrer ComfyUI dans un environnement collaboratif avec d’autres logiciels métiers.

• Contexte et enjeux : Pourquoi utiliser l’IA dans l’architecture ?
• Présentation de ComfyUI : Interface, fonctionnement, philosophie nodale.
• Comparaison avec d'autres outils : Stable Diffusion, MidJourney, DALL·E.
• Installation et configuration : Matériel requis, optimisation GPU/CPU.
• Démonstration rapide : Générer une première image simple avec un modèle pré-entraîné.

• Text Prompt et CLIP (interprétation du texte).
• Latent Image et KSampler (processus de génération).
• VAE Decode et Image Output (export des images).

• Influence du CFG Scale, des steps, des samplers.
• Utilisation des prompts négatifs.
• Travail sur la couleur, l’éclairage, et la cohérence architecturale.

• Canny pour conserver des croquis et esquisses.
• Depth pour donner du relief aux images.
• OpenPose (si besoin d’intégrer des personnages).

• Génération d’alternatives de matériaux et d’ambiance :
• Changer l’éclairage et la météo d’un projet.
• Tester différentes textures et finitions

• Filtrage des artefacts.
• Amélioration des textures et de la netteté (ESRGAN, 4x-UltraSharp).