1. 主页 > AI行业 > 行业观察

AIGC+3D引擎 实现“一句话建模”

AIGC那么火,在3D世界,它有没有应用空间?3D引擎+ChatGPT,能否擦出火花?

针对以上问题,孙志鹏给出了回答。孙志鹏是国际3D引擎巨头Unity的中国高级经理兼跨端移植技术负责人。他告诉记者,对应AI作画,3D引擎可能实现“一句话建模”

3D建模

ChatGPT已能实现人工智能创作文本,基于文本,AI作画可实现人工智能创作图片,即从一维的文本到二维的平面图片。那么,基于文本,能否形成三维的视频呢?

对此,孙志鹏表示,AI已被不断集成至Unity的工具流中,主要用于强化管线的渲染能力,同时也会在程序化数字资产生成和可微渲染的部分,为AIGC的落地做能力加强和生态储备,并参与GPT之类的预训练模型的使用探索。在多模态、数据合成、对比学习等领域紧跟学术界成果,争取早日在3D数字资产创作领域实现AIGC。

对应AI作画,3D引擎可能实现“一句话建模”。以场景生成为例,目前看起来一个可能的路径是:

第一步:通过GPT之类的生成模块,自动生成对一个用户需要的场景足够详细的描述;

第二步:通过一个多模态模块进行模态融合,去驱动一个全可微的程序化建模模块来生成场景

第三步:通过可微渲染器渲染的结果;

第四步:把这个结果交给类似CLIP(文末注)的模块去生成符合最初描述的图像或视频

而类似过程可以用在很多类型的资产生成过程中,“一句话建模”的设想也就由此实现了。

随着技术的发展,”一句话建模“将变得越来越智能,生成结果也将越来越好!

本文由小熊AI网发布,不代表小熊AI网立场,转载联系作者并注明出处:https://www.xiaoxiong360.com/html/industry/674.html