首页 > 娱乐

英特尔研究院发布全新AI扩散模型|当前信息

来源:芯灼见 时间:2023-06-25 13:21:51

LDM3D是业界领先的可创建深度图的生成式AI模型,有望革新内容创作、元宇宙和数字体验。

本文引用地址:http://www.eepw.com.cn/article/202306/447894.htm

英特尔研究院宣布与Blockade Labs合作发布LDM3D(Latent Diffusion Model for 3D)模型,这一全新的扩散模型使用生成式AI创建3D视觉内容。LDM3D是业界领先的利用扩散过程(diffusion process)生成深度图(depth map)的模型,进而生成逼真的、沉浸式的360度全景图。LDM3D有望革新内容创作、元宇宙应用和数字体验,改变包括娱乐、游戏、建筑和设计在内的许多行业。


(资料图)

英特尔研究院人工智能和机器学习研究专家Vasudev Lal表示:“生成式AI技术旨在提高和增强人类创造力,并节省时间。然而,目前的大部分生成式AI模型仅限于生成2D图像,仅有少数几种可根据文本提示生成3D图像。在使用几乎相同数量参数的情况下,不同于现存的潜在扩散模型,LDM3D可以根据用户给定的文本提示同时生成图像和深度图。与深度估计中的标准后处理方法相比,LDM3D能够为图像中的每个像素提供更精准的相对深度,并为开发者省去了大量用于场景开发的时间。”

封闭的生态系统限制了规模。英特尔致力于推动AI的真正普及,通过开放的生态系统让更多人从这项技术中受益。计算机视觉领域近年来取得了重大进展,特别是在生成式AI方面。然而,当今许多先进的生成式AI模型只能生成2D图像。与通常只能根据文本提示生成2D RGB图像的现有扩散模型不同,LDM3D可以根据用户给定的文本提示同时生成图像和深度图。与深度估计(depth estimation)中的标准后处理(post-processing)方法相比,LDM3D在使用与潜在扩散模型Stable Diffusion几乎相同数量参数的情况下,能够为图像中的每个像素提供更精准的相对深度(relative depth)。

这项研究有望改变我们与数字内容的互动方式,基于文本提示为用户提供全新的体验。LDM3D生成的图像和深度图能够将诸如宁静的热带海滩、摩天大楼、科幻宇宙等文本描述转化为细致的360度全景图。LDM3D捕捉深度信息的能力,可以即时增强整体真实感和沉浸感,使各行各业的创新应用成为可能,包括娱乐、游戏、室内设计、房产销售 ,以及虚拟博物馆与沉浸式VR体验等。

6月20日,在IEEE/CVF计算机视觉和模式识别会议(CVPR)的3DMV工作坊上,LDM3D模型获得了“Best Poster Award”。

LDM3D是在LAION-400M数据集包含一万个样本的子集上训练而成的。LAION-400M是一个大型图文数据集,包含超过4亿个图文对。对训练语料库进行标注时,研究团队使用了之前由英特尔研究院开发的稠密深度估计模型DPT-Large,为图像中的每个像素提供了高度准确的相对深度。LAION-400M数据集是基于研究用途创建而成的,以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。

LDM3D模型在一台英特尔AI超级计算机上完成了训练,该超级计算机由英特尔®至强®处理器和英特尔®Habana Gaudi® AI加速器驱动。最终的模型和流程整合了RGB图像和深度图,生成360度全景图,实现了沉浸式体验。

为了展示LDM3D的潜力,英特尔和Blockade的研究人员开发了应用程序DepthFusion,通过标准的2D RGB图像和深度图创建沉浸式、交互式的360度全景体验。DepthFusion利用了TouchDesigner,一种基于节点的可视化编程语言,用于实时互动多媒体内容,可将文本提示转化为交互式和沉浸式数字体验。LDM3D是能生成RGB图像及其深度图的单一模型,因此能够节省内存占用和降低延迟。

LDM3D和DepthFusion的发布,为多视角生成式AI和计算机视觉的进一步发展铺平了道路。英特尔将继续探索如何使用生成式AI增强人类能力,并致力于打造一个强大的开源AI研发生态系统,让更多人能够使用AI技术。延续英特尔对开放AI生态系统的大力支持,LDM3D正在通过HuggingFace进行开源,让AI研究人员和从业者能对这一系统作出进一步改进,并针对特定应用进行微调。

在2023年6月18日至22日举行的IEEE/CVF计算机视觉和模式识别会议上,英特尔将发表这项研究成果。欲了解更多信息,请参考论文《LDM3D: Latent Diffusion Model for 3D》。

相关稿件

英特尔研究院发布全新AI扩散模型|当前信息

倡导“新食尚” 让节约成为另一种“增产”

天天最资讯丨黄山落叶松叶落山黄,香山碧云寺(黄山落叶松叶落山黄)

泰安市住房公积金中心发布暂停线上渠道服务的通知|环球时快讯

三千哲库人,不信公司是没钱突然解散

即时看!靶向趋化因子的肿瘤免疫治疗

什么是內爆?泰坦号为何內爆?

【全球快播报】超 6 亿美元引进!安进 siRNA 药物拟纳入突破性疗法

全球快讯:榆林市第一医院联合榆林市强制隔离戒毒所开展防范麻精药品滥用宣传活动

当前视讯!大学生就业“最满意”排行,60个专业上榜!

北京有哪些央企适合迁入上海?_最新

世界讯息:25小时累计降雨超159毫米,金山朱泾打出防汛“组合拳”

天天快资讯丨长沙上榜端午全国十大热门旅游城市

闻“汛”而动!北湖区齐心筑牢“安全堤”_全球视讯

去哪儿网:端午国内热门城市机票预订量超2019年同期两成

昆明百老汇影城顺城店_昆明百老汇影城

资讯:马斯克:大幅调整后,SpaceX“星舰”再次试射的成功机会大增

“行走河南·读懂中国”,2023河南省文旅文创发展大会将于6月底举行-世界报资讯

【安全生产】洛川县开展燃气安全生产专项检查! 世界实时

端午假期江苏消费品市场累计实现销售额约35.4亿元

郑州机场、东站贴出公告,“入场费”必须司机出不准转嫁给乘客_快播报

今日播报!2023全省文旅文创发展大会为何选在洛阳?

cpa缴费平台 即时焦点

全球播报:手机出现hd收费

世界百事通!端午小长假 “粽”情太白山

河南工学院隆重举行2022-2023学年学生工作暨共青团工作表彰大会

西北师范大学马克思主义学院赴甘肃交通职业技术学院开展调研活动

退休后,拉开人与人差距的,不仅仅是退休金,以下4点更重要-天天观察

全球热推荐:惜别母校,送站启航——重庆建筑科技职业学院为2023届毕业生提供了暖心送站服务

泰坦军团推出 P25A2R 显示器:24.5 英寸 2K 165Hz