01
PART
从牙科工厂到 400 万用户
ORIGIN STORY
这期嘉宾是 Comfy(ComfyUI)公司的 CEO Yolan。开场先澄清一个流传已久的误会:他并不是那位匿名的 ComfyUI 作者「comfyanonymous」——那是他的联合创始人 Yannick。访谈由两位长期使用 Comfy 的视觉创作者主持,以下是对话的完整整理。
Q 先讲讲你的背景,以及 ComfyUI 的起源故事?听说这里还有个「身份乌龙」?
这件事确实让很多人困惑:Yannick 通常被大家叫作 Yan,而我的姓氏就是 Yan,事情就变得非常混乱。Yannick 不太和开源社区里的一些人交流,我则比较活跃。Hugging Face 那边有人一度怀疑「这家伙是不是有点精神分裂——一半时间不回消息、有时候还挺冲;另一半时间又特别友善,沟通起来特别清楚,把进展讲得明明白白」。
回到产品本身。ComfyUI 最初是一个纯粹的开源项目,那是 2023 年初。在那之前,Yannick 从来没写过一行机器学习代码——他在魁北克市他父亲的牙科种植体工厂里做了十年 C++ 程序员,负责自动化,基本上是你能想象到的、离硅谷 AI 公司最遥远的背景。他花了两周时间把这个工具写出来、发布出去;大约一年之后,他可能已经成了视觉领域最出色的推理工程师。
如果你回顾 Comfy 的发展历程,一直是稳定的增长,从来没有出现过巨大的跳跃。让人们上手需要花很多功夫,它就这样逐渐增长,生态也随时间繁荣。在这段旅程进行到大约一年的时候,我加入了进来——我在 Comfy 之上构建了自己的产品,开始看到整个生态系统的价值,也好奇这个项目长期会走向何方;如果可能,也想在一定程度上引导它的未来。
于是我们开启对话、为这个领域做贡献,认识了 Yannick 和其他开源贡献者,然后意识到这是一个非常草根的过程——这里没有「救世主」掌控一切,每个人都只专注于一个非常细分的领域:Yannick 主要在做模型改进和推理优化,生态里的其他人负责管理扩展,再有人做前端,是一场非常缺乏协调的协作。就在那时我们看到了机会——把这些力量集中到一个单一的组织之下。到了 2024 年初,事情正式开始运转,我们把生态里相当多的开源贡献者吸纳了进来。
Yannick 用两周时间写出并发布这个纯开源项目,此前他没有一行 ML 代码经验。
稳定增长、没有跳跃;Yolan 在 Comfy 之上构建产品后加入,双方开启合作对话。
生态里相当多的开源贡献者被吸纳进同一个组织,工具和公司从此共同生长。
Q 当初是什么启发了 Yannick,让他想去构建早期版本的生成式 AI 图像工具?
Comfy 有三个关键特性,或者说它让人们能做到的三件事:控制力、质量、可扩展性。而可扩展性——当初启动这个项目的缘由——直到今天依然是 Comfy 能在工作室、VFX、动画等整个领域被当作核心 AI 工具采用的原因。
他刚起步时想构建这样一个系统:用一个扩散模型渲染图像的初始部分,再用另一个扩散模型生成更高分辨率的图像。玩过很多开源模型的人可能知道,有些模型在美感上非常出色,但生成更高分辨率的图像时,它们给你的就是四张拼在一起的四象限图——因为那就是它们训练时的分辨率。
他想要的是:在生成过程的前 50% 步骤里用一个美感出色的模型,等图像的基础打好之后,再用另一个模型完成收尾。而当时市面上根本没有任何产品能给他这样的控制权,除非自己把代码重写一遍;就算写了代码,屏幕上也没有一个很好的可视化反馈,告诉你改了这些参数会得到什么结果。基于节点的界面在这里就成了一种非常自然的存在——这也是最终让大家愿意采用 Comfy 的原因:它能让你对这些 AI 模型拥有尽可能多的控制权。
Q 你们还保留着最初的那张图吗?它完全可以进 AI 历史博物馆,一百年后挂在那儿。
我们确实有。这家公司在品牌定位上经历了太多。comfy.org 最初的网站首页,就是用 ComfyUI 生成的第一张图——现在回头看,那个首页让我有点脚趾抠地,但在当时,那就是我们在追求的东西:想成为一个开源、充满草根气息的组织。然后随着时间的推移,我们逐渐成熟起来,无论是作为产品还是作为品牌。未来网站还会变得更加专业,更好地向专业创意人士发声。
02
PART
视觉 AI 的操作系统
THE OS FOR VISUAL AI
Q 聊聊 Comfy 当前的格局——现在的产品情况,以及你们希望它往什么方向发展?
从更宏观的路线图层面看,它的普及程度相当高:现在本地安装量每天接近 50,000 次下载,全球总用户大约 400 万。放在专业创意生态里看,这不是个小数字——我们估计全球专业创意人士的总量大约在 5,000 万左右,也就是说我们已经接近这个群体的 10%。长期我们会继续在这个品类里扩张,而这些人要的正是那三个特性:控制力、质量、可扩展性。最终,当你有了一条 pipeline,你就可以把它推到生产环境里,持续地在不同的资产、不同的输入上运行它。
从长远来看,我们想把 Comfy 构建成我们所说的「视觉 AI 的操作系统」。它的实际含义是:在未来五到十年的时间范围内,超过 50% 的生成式内容会经过 Comfy 这个 workflow 层。它不一定非得通过我们的界面或产品——可以在本地运行,可以在我们的云端运行,可以在移动端 SDK 上运行,可以在任何地方运行。
但只要 Comfy 是驱动大量创意创作的引擎或 workflow 编排系统,我认为我们就从根本上改变了整个格局——工具归创意人士所有,而不是像历史上那样被锁死在封闭生态里。创意工具领域里,工具开发者和用户之间的这种关系,甚至有人会说相当「有毒」。而这就是我们想在新 AI 时代去扭转的范式。
Yolan 的十年愿景
未来五到十年,超过 50% 的生成式内容会经过 Comfy 这个工作流层
Q Comfy 的成功里,开源生态扮演了什么角色?
有一件事大家可能没有充分意识到,那就是 Comfy 所取得成功的程度——其中很大一部分实际上来自开源生态:ComfyUI 生态里的自定义节点、扩展,以及围绕它们的开发者们。你会惊讶地发现,每天都有人创造出新的节点——现在大家都是 vibe coding 出来的——发布出去,解决一部分问题,开放给其他人采用。目前我们的生态里有超过 60,000 个节点;跟创意领域之外的其他平台相比,它可能算是拥有这么多开源开发者的顶尖平台之一。workflow 的构建者也是同样的情况——也就是那些把节点组合起来进行视觉创作的人,甚至生态圈里的模型构建者也在做贡献。这就是 Comfy 最终能够成为如此巨大成功的主要原因,相比之下,其他任何封闭系统都做不到。
Q ComfyUI 是免费、开源的,可以直接下载安装。直到最近才推出 Comfy Cloud——在那之前,它是怎么赚钱、怎么维持、怎么持续改进的?
作为个人项目的初始阶段,完全是零资金——Yannick 连赞助都没有,有一段时间他在 Stability 部分任职,同时持续维护这个开源项目。自从我们作为一个团队走到一起之后,最初主要靠风险投资:我们找到了与这个愿景高度一致的人。我们和生态里的很多人谈过,也筛掉了不少从外部看非常靠谱的投资人——从根本上讲,我们知道他们与愿景不一致,或者带着这样一种视角进来:「Comfy 是个不错的品牌,也许是时候推出一个 Comfy 专业版了。」
至于最近的云端发布,可以从总体上解释一下,为什么这其实是一个极其强大的模式。Comfy 的核心是作为开源产品构建的「一人一机」体验,投入了大量的优化和工作——在过去两年里,这基本上就是最先进的水平:如何让人们在一台本地电脑上运行这些模型,并从中获得尽可能多的产出。说到底,作为一个个人创作者,你是不会买 20 张 RTX 6000 放到云端上、或者放在自家地下室里跑的,从财务上讲这么做是不理性的。所以一个非常自然的定价或商业模式,就是提供一个非常强大的后端,让我们能够在云端以分布式的方式进行优化,不再需要你去维护那种在云端运行东西的复杂逻辑。
在这种情况下,我们实际上不需要做典型的开源产品那种功能限制。很多开发者产品会说「我在开源社区版里提供 50% 的节点,剩下的全部放在云端」——真的没有必要,因为产品的速度和性能本身就是一个功能,而且是主要功能之一:你是要在渲染流水线上等两天,还是愿意为强大云端后端的编排价值付费,让整个运行在 20 分钟内完成?这些关键的差异化让人们自然而然地流向 Comfy Cloud。我们甚至看到有人同时两边都用:本地有一台不错的机器,同时又把任务放到云端跑——因为你的创意产出速度,已经超过了任何一台机器所能提供的渲染时间。你提供得越多,用的人就越多,对我们来说,这是一个非常健康的基于用量的模式。
03
PART
专业工作流与 App Mode
PRO WORKFLOWS & APP MODE
Q 在工作室或大公司里,你见过哪些应用场景?有没有什么让你感到惊讶或意外的?
惊讶的确实有一些,不过有些我不太确定能谈多少。就一般应用而言,我们的用户很大一部分是在工作室营销、VFX、动画领域,这也是我们重点投入的方向。对这些用户群体来说,流水线大体上是相似的,只是具体 workflow 可能差别很大:有的公司内部有一条流水线,可以自动替换视频画面里不属于自己品牌的 logo,让视频看起来更自然;另一家公司可能有语音替换模型,让音频或语音生成更自然,或者翻译成另一种语言。但总体上,对所有这些用户来说,三个关键标准是一致的:应用上要给创作者尽可能多的控制权、要有最高的质量、最后还要有一条长期可扩展的流水线。不同的工作室有大量长尾的应用场景,但本质上是相似的。
Q ComfyUI 现在已经成了很多 AI 相关岗位的招聘要求。这个草根出身的东西变成了岗位要求——它会如何指导你未来的产品路线图?
这确实让我们非常兴奋,而且从历史上看,这种情况早已有之。差不多两年前、我们刚起步的时候,有一篇 Netflix 的帖子说「Netflix 内部正在寻找 Comfy 创作者」——我觉得 Netflix 在这方面是相当超前的,而现在整个生态系统里已经有很多这类需求了。
我们想做的一件事是——坦白说,从历史上看,Comfy 在帮助个人创作者上手平台、完成学习过程这件事上做得并不太好,面向未来,这绝对是我们想解决的领域。我们希望更多人能带着这样的经历进来:「我是在那门课里学的 Comfy」「我是在大学里学的」「我已经成功完成了产品内的入门流程,掌握了基础」。从产品角度,我们也规划了很多功能让人们顺利上手,App Mode 就是其中之一——它让人们跳出 workflow 层,直接在更高的层面上操作,就像你在日常使用的普通创意 AI 工具里看到的那样。
Q 跟我讲讲 App Mode 吧,还有你们即将发布的新产品的整体情况。
基本上,如果你把所有的 workflow 想象成某种模板,App Mode 就是这样一个层:能让这些模板变得好用。你要做的是在 workflow 图上选择一部分你想在 App Mode 中暴露出来的参数——这是一个相当简单的过程,只需点击、选中一批参数,就可以把这个 workflow 切换成 App Mode。而在 App Mode 里,只有那些参数会被展示出来,你会有一个更纯粹、更简单的界面来直接与 workflow 交互:如果你只是修改 prompt,整个 workflow 会跑完,但最终只有 prompt 被改变了。
它不一定和云端绑定。任何本地用户也可以把自己的 workflow 建立为一个 app,而且这会作为 workflow 文件的一部分被记录下来——相当于说「顺便提一下,这是一个偏好 App Mode 的 workflow」,至少会以 App Mode 的体验打开。然后你可以把同一个 workflow 发给其他人,或者放到云端、把链接发出去;对方只需要安装所需的节点或模型,最终在自己的本地实例上运行。
可以想象大家大概会这样用:要么直接通过分享 workflow 文件这种典型流程,要么分享一个链接。比如说,你在底层搭建一个复杂的 workflow,然后给客户一个简单的链接——「来,你上传一张图片」,你搭建的 Comfy workflow 里会进行风格迁移之类的处理,他们就能拿到输出图片,但完全不用操心底下那团乱麻似的节点。
Q 说到分享的痛点:下载别人的 workflow 时缺模型、缺节点,总得自己找出来、装到正确的文件夹里。这方面有什么改进吗?
这不只是 App Mode 里才会发生的问题,同样的痛点在 workflow 模式下也会出现,这是一个我们会持续改进的领域。我们其实已经取得了一些进展:可以把模型的位置信息嵌入到 workflow 里面,现在会弹出提示,比如「去下载这些模型,才能让这个节点生效、让这个 workflow 跑起来」;另一个是自定义节点本身,可以把这些信息、版本号之类的都嵌入到 workflow 中。未来还会有进一步的改进——外面已经存在大量不带这些信息的开源 workflow,但依然吸引了大量人的兴趣,我们该如何转化,并逐步推动整个生态的 workflow 携带更多元数据,从而在长期获得更好的可复现性?这肯定会作为我们全年持续功能改进的一部分推出。
04
PART
前 VS Code 时代
THE PRE-VSCODE ERA
Q 你怎么看 vibe coding 和 Agentic AI 的兴起?我试过用 Claude Code 搭一个 Comfy workflow——说到底它就是 JSON 文件——但不太成功。你们会做 MCP server,或者纯自然语言交互的东西吗?
这个观点很好,到目前为止已经有很多人向我们提过这一点,这绝对是我们长期在推进的方向。总体主题就是让产品更简单——甚至作为上手过程的一部分——让人们更容易学习和采用这个工具,并且在将来也能更方便地编辑它。
如果把 Comfy 看作某种可视化编程语言,我们仍然处在前 VS Code 时代
即使从那个角度来看,我们也有一定的产品层面的提升空间,需要继续推进,才能真正达到 VS Code 级别的产品质量。不过 Comfy 开放的一个好处是,其他人可以做这些事:就在昨天,一个 AI 编程工具团队在他们自己版本的 Comfy MCP 上组织了一场 hackathon;阿里巴巴做了一个叫 Comfy Copilot 的工具,做的正是这件事。很多时候,你现在已经可以做这种一次性尝试,但如果你真正构建一个 agentic 系统来生成这些 workflow,那会强大得多、也准确得多。至少现在,开源的好处在于生态系统里的其他参与者会来帮忙——这正是你在 Comfy 生态里反复看到的模式:有人进来实现这些功能,然后帮助生态系统的其他部分。最终,当它成为从核心 Comfy 体验中交付这些功能的关键节点或路径时,我们也肯定会去执行落地。
Q 现在基于节点的 AI workflow 编排器越来越多了——grip tape、invoke,还有被收购的那些。Comfy 未来会变得更易用,还是越来越由专业用例定义、变得更难使用?
我们一直在团队内部、也对外部用户强调的一点是:Comfy 从来不想牺牲系统内部的核心能力,因为那正是那些对质量和控制要求最高的用户采用 Comfy 的原因。如果明天我突然把 Comfy 简化成「就做图生视频、文生 3D、生成音频」的通用流程,你可能会吸引来很多新用户,但你也会最终完全失去让 Comfy 成为最高端专业用户之选的机会。
话虽如此,我确实认为用户界面是一个易用性问题,而我们其实可以在保持 Comfy 强大功能的同时,解决这些易用性方面的问题。有意思的是,根据我们的了解,很多时候当你使用其他基于节点的系统、或者过去半年左右才出现的产品时,它仍然是一个复杂的系统,仍然需要上手引导,人们得明白「原来是这样把东西连接起来的」——即便从这个角度看,复杂性也是无处不在的。从我们的角度来说,我们只想服务好专业用户,以及与这个专业群体相关联的人群。
App Mode 就是最好的例子——它并不是源于我们想着「把 Comfy 打造成一个消费级产品」,它实际上源于专业创意人士的需求:他们希望拥有这类功能,这样就能把自己的 workflow 开放给团队里其他不使用 Comfy、但有很多想法想在这些 workflow 上验证的创意同事;甚至在某些情况下,有人搭建了一条持续运行的成功 pipeline,但并不想进到节点图层里去做更多修改,所以想要一个更简单的版本来使用自己搭建的 workflow。这并不意味着他们就不再是专业创意人士了,只是意味着为他们的需求开启了一个可访问性层。这就是我们看待这件事的视角。
05
PART
被收购的可能性:零
WHY WE WON'T SELL
Q 既然聊到这儿,我必须问一下:Comfy 今年被收购的可能性有多大?
零。说实话,在不透露太多细节的前提下——历史上一直有不少收购意向。你也能看到,创意产业对 Comfy 这样的玩家有些担忧,担心它不断增长、获得更多采用,长期来看可能会通过开源的方式彻底颠覆这个领域。从这个意义上说,我们作为一个团队是非常使命驱动的:至少从创始人的角度来说,我们本来都可以在非常有趣的研究环境或者很有意思的地方工作。我、Yannick 和 Robin 之所以选择这条路,是因为我们看到有必要把 Comfy 打造成这个基础层,去实现我们想看到的未来。
我以前常跟一些早期 VC 讲我们为什么要做这件事。从我个人角度看,硅谷的历史上存在两种公司。一种在我看来是,你在世界大势所趋的方向之上做了一些边际改进——也许就算没有你,也会有另一家做出类似的事情,或者可能稍差一点,所以你在这段旅程中贡献的只是产品体验和执行力上的边际改进。而在我看来,还有另一种公司,是真正改变了历史、改变了未来走向路径的公司。我们想打造的正是第二类公司。
硅谷历史上有两种公司:一种做边际改进,另一种改变历史的走向。我们想做第二种
从这个视角看,我们加入一个更大的组织去实现这一点其实毫无意义——因为在那种情况下,很可能会损害这家公司的成功和我们设定的愿景,除非有谁从根本上也认同这个愿景。而在我看来,这样的人一个都没有,我们很可能是第一个到达那里的。
///
LAST
人在环中
HUMAN IN THE LOOP
Q 这次访谈面向 AI 电影人和视觉创意领域的人,你对他们使用 Comfy 有什么想说的?随着工具不断迭代,这个行业如何保持以人为本、以创意为先?
我想说几点。一是核心层面,Comfy 以及我们对创意世界走向的判断,是极其强调「人在环中」(human in the loop)的,这是其核心精神的一部分。你会看到很多噪音——各种 AI 工具的发布,以及那种靠制造恐惧来驱动营销和采用的说法:说工业设计已经完蛋了、好莱坞凉了。这是我个人特别受不了的一点,总是在 Twitter 上不断看到这些东西。不,唯一会发生的事情是:会有更多创意人进入这个生态,能够以最高的水准发挥他们的创造力,而这绝对需要在环中的人。
因为归根结底,能区分那些从数量上淹没整个互联网的 AI 垃圾内容与真正脱颖而出内容的,是你的创意、你的控制力、其中的艺术思考。而 Comfy 本质上就是一个信奉这种理念的产品,这也是我们看到的、让 Comfy 在整个生态中与众不同的地方。如果看到那种叙事,保持冷静,继续前行——这些 Twitter 上的风潮终会过去的。
Q 那我猜 Comfy 永远不会、也不该被用于「从剧本到电影」那种全自动的用法吧?
我认为端到端确实有可能成为 Comfy 或其他系统的一项功能和可能性,但重要的是结果,是最终产出的东西。你想把它带向哪个方向,之后还要进行哪些编辑和调整,这些才是非常关键的。而且我觉得视觉空间具有很高的维度,有时候人们甚至意识不到。
想象一下,如果是文字——比如让 AI 写一封邮件,80% 的情况下它可能已经足够接近了;而即使是「足够接近」,你还是会进去做一些微调,而且它们会不断变得更好、更接近你的语气,但你始终保有在最后介入、做一些调整的能力。而在视觉这边,如果我提出一个非常精细描述的 prompt——比如要一张油画,画的是一朵睡莲——即使在那样的场景下,也存在无数种可能性和控制点:叶子在什么位置,我可以描述出来,但 AI 真的能精确地落在那个位置吗?还有很多风格可以进一步调整。图像一下子就处在比文字更高的维度上了,这也是「一张图能道尽千言万语」的原因;而视频又处在更高的层级,因为它融入了运动和环境。
从这个角度看,即便是文字也在经历这个过程,或者说最终落到这个结果上——你可以让 ChatGPT 帮你写一整本书,但那只会是又一份 AI 垃圾。你应该做的是利用这些工具,赋能自己去产出高质量的内容。在这些领域,我们完全有可能看到一个能给你端到端结果的系统,但接下来呢?在这之后的创作过程中,你把自己放在什么位置?你的内容又如何从那些只按了 5 次 prompt 就把结果甩到社交媒体上的人当中脱颖而出?
在这中心,你才是创意者,你才是那个在环中的人
对话的最后,主持人提到 Ben Affleck 谈 Netflix 收购案时的观点——在 Netflix 展示的幕后片段里,很多截图都能看到 Comfy 的身影。Yolan 笑着回应:他非常欣赏 Ben 在这方面的观点,而且他猜 Ben 至少对这款产品是熟悉、有所了解的。「Ben,如果你看到这篇访谈,我们非常想和你聊聊。」
Q 我们还听说过一些神秘的用户——据说情报机构也在用 Comfy?
这方面没什么可评论的,我也只从一些在那里工作过的人那里听到过只言片语。不具体谈政府之类的,我只想说一句:他们不是那种敌对方性质的群体。确实有一个群体来找我们聊过,说他们机构内部有 200 人在使用、在跑 Comfy 的 pipeline——当时我们相当震惊。还有一些金融分析领域的使用,那也是相当奇怪的一类。除此之外,游戏等等都属于正常的、常规的使用群体。我们后来也想了很久:是在做 deep fake 内容吗?这到底是防御动作,还是进攻动作?等 50 年后档案解密了就知道了——但愿他们最终会解密,到时候我能回头看看。
整场对话,Yolan 反复回到同一个词:控制权。从 Yannick 在牙科种植体工厂里写下最初的代码,到 60,000 个节点、每天 50,000 次下载的生态,再到「零收购」的底气——Comfy 想证明的是一件事:在生成式 AI 的时代里,工具可以归创意人士所有,而站在环中央的,始终是人。
