AI。使用赋能的导生图画生成技能日新月异,从前期模型会生成手指过多的成式t操成人类图画 ,到现在能创造出令人惊叹的控图传神视觉作用。即便取得了如此腾跃 ,画生依然存在一个应战:完成。使用构思 。导生掌控 。成式t操成
运用文本创立场景变得更简单,控图不再需求杂乱的画生描绘,模型也改善了针对提示词的使用一致性。但仅通过文字描绘构图 、导生拍摄视点、成式t操成物体摆放这些精密细节现已很不简单了 ,控图要修正调整更是画生难上加难。尽管运用 ControlNet(通过更好地操控输出来增强图画生成的东西)的高档作业流供给了解决计划 ,但其设置杂乱,约束了更广泛的运用。
为协助战胜这些应战并快速获取先进的 AI 功用 ,NVIDIA 在年头的 CES 展会上发布了面向 RTX PC 的NVIDIA 3D 引导生成式 AI Blueprint 。这个示例作业流包括了全套东西 ,让你能从头开始生成彻底操控构图的图画 。用户现在就可以体会这个全新的 Blueprint 。
运用 3D 操控 AI 生成的图画。
NVIDIA 的3D 引导生成式 AI Blueprint可操控图画生成 ,它运用 Blender 中的 3D 场景草稿向图画生成器(Bl。ac 。k Forest Labs 的 FLUX.1-dev)供给深度图 ,与用户的提示词一同生成所需的图画。
深度图协助图画模型了解物体应该怎么放置 。这项技能的优势在于 ,它不需求高度细节化的物体或高质量纹路,因为它们将被转换为灰度。此外,因为场景是 3D 的 ,用户可以轻松移动物体并更改相机视点。
Blueprint 的底层是 ComfyUI ,这是一个功用强壮的东西 ,答应创造者以风趣的方法链接生成式 AI 模型 。例如,用户可以通过 ComfyUI Node Editor Blender 插件将 Blender 衔接到 ComfyUI 。此外 ,用户可以运用NVIDIA NIM 微服务在 GeForce RTX 。 GPU。上布置 FLUX.1-dev 模型并以最佳功能运转 ,充分运用 NVIDIA。 Te 。nsorRT 软件开发套件以及 FP4 和 FP8 等优化的精度格局。3D 引导的生成式 AI Blueprint 需求 NVIDIA GeForce RTX 4080 及以上 GPU 。
生成式 AI 作业流的预构建根底。
3D 引导的生成式 AI Blueprint 包括开始运用高档图画生成作业流所需的全部 :Blender、ComfyUI 、衔接两者的 Blender 插件、FLUX.1-dev NIM 微服务以及运转该微服务所需的 ComfyUI 节点。关于 AI 艺术家 ,还顺便了装置程序和具体的布置阐明。
该 Blueprint 选用一种结构化的方法来深化图画生成,供给了可根据特定需求量身定制的作业流 。这套计划包括了手把手教程 、现成资料和开箱即用的环境装备 ,让你创造更轻松 ,作用更冷艳 。
关于 AI。 开发者。,该 Blueprint 可以作为构建相似作业流或扩展现有作业流的根底 。它顺便源代码 、示例数据、文档和入门作业示例 。
RTX AI 供给支撑的实时生成。
AI Blueprint 在 NVIDIA RTX AI PC 和作业站上运转,充分运用了 NVIDIA Blackwell 架构的最新功能打破 。
3D 引导的生成式 AI Blueprint中包括的 FLUX.1-dev NIM 微服务通过 TensorRT 优化,并量化为 FP4 精度以适用于 Blackwell GPU,推理速度比原生 PyTorch FP16 提升了一倍以上