首页 > 资讯

酷睿轻薄本也能运行大语言模型,英特尔推动 PC 生成式 AI 落地

来源:面包芯语 时间:2023-08-26 08:00:16

IT之家8 月 24 日消息,2023 年 8 月 18 日上午,英特尔在大湾区举办了一场技术分享会,主题是英特尔在 AIGC(人工智能生成式计算)领域的最新进展。会上,英特尔的技术专家向与会者展示了他们在 AIGC 上的技术方向,并进行了多个应用的演示。

首先,英特尔介绍了他们在大语言模型方面的优化和支持。在我们传统的认知里,运行类似 ChatGPT 这种大语言模型必须要有大显存的显卡支持。但这场交流会却颠覆了我们的认知。英特尔为了让 12、13代酷睿平台也能够顺利运行各种大语言模型并提供流畅的使用体验,构建了 BigDL-LLM 库。通过这个库,可以对各种大语言模型进行优化和支持,包括一些开源的、可以在本地运行的大语言模型。这个库甚至可以在一台搭载 16GB 内存的英特尔轻薄本的机器上运行参数量高达 16B 的大语言模型。此外还支持 LLaMA / LLaMA2、ChatGLM / ChatGLM2 等多个大语言模型。


(资料图片)

接下来,英特尔展示了他们在大语言模型应用方面的表现。通过集成了 ChatGLM2、LLaMA2 和 StarCoder 这三个大语言模型的 Demo,他们演示了这些模型在中文和英文应用上的表现。通过优化和量化操作,这些大语言模型在生成回答时能够以非常快的速度生成,并且不影响阅读体验。英特尔已经发布了这套 Demo,任何搭载 12、13代酷睿的电脑都可以直接安装并体验。

我们这里选择了一台通过英特尔Evo平台认证的轻薄本:华为 MateBook 16s 来进行测试。处理器为酷睿 i9-13900H + 32G 内存,看看在核显轻薄本上究竟能不能跑 AIGC。

英特尔大语言模型的 Demo 安装过程非常傻瓜,英特尔已经打包成了 EXE 文件,安装并导入.Bin 格式的大语言模型就可以运行了。打开界面我们可以看到左侧可以选择聊天内容、调整模型参数和查看运算延迟,右侧则是聊天框。

笔者先尝试问了他一些人情世故方面的问题,没想到回答非常出色,响应速度也很快。这样一个问题只花了 658.87ms 就完成了响应。

在运算过程中我们可以看到,i9-13900H 占用率达到了 100%,内存占用达到了 16G,Xe 核显也有一定占用。看来这个运算过程确实是在本地进行的。经过英特尔不断的优化和 13代酷睿处理器算力的提升,我们真的在轻薄本上实现了 AIGC 的落地。

在情感分析功能中,我们让大语言模型分析了一段经典散文。可以看到虽然分析的角度比较浅显,但没有逻辑错误,还是可以自洽的。

而在这个中文翻译功能中,英特尔大语言,模型的表现就更加令我意外了,它的翻译质量相当高,速度也很快。哪怕是有如此多专有名词的稿件,也能准确无误地翻译。

在故事创作方面,这套大语言模型也展现出了令我惊讶的逻辑能力和创造能力。我这边让它写一篇关羽大战林黛玉,最后林黛玉取胜的故事。但 AI 居然认识到了这两人根本不是一个时代的,最后写了一个穿越时空的戏码,虽然漏洞百出,但大体上没有问题。

生成大纲功能则是一个非常有用的功能,我们只要输入想要撰写的稿件,就能帮我们列出一套逻辑清晰的稿件大纲了。这对于经常需要写文章的群体来说能起到很好的辅助作用。

信息提取功能对于经常需要阅读报告的群体来说很有帮助。可以快速从长篇文章中提取核心信息。我这边尝试让 AI 从英文文章中提取中文信息,效果却依然非常好。

最后,笔者让 AI 给出一份青岛美食建议和青岛旅游建议。由于这个大语言模型是完全离线运行的,所以给到的信息也会比较陈旧,但单从撰写水平来看还是不错的。

除了大语言模型应用外,英特尔还展示了在 AI 文生图算法 Stable Diffusion 上的支持。他们启用了 OpenVINO 的加速,开发了一套 AI 框架,通过一行代码的安装,就可以加速 PyTorch 模型的运行。通过 Stable Diffusion 的 WebUI,可以在集成显卡和 Arc 独立显卡上运行 Stable Diffusion Automatic1111。通过演示,可以看到在 Evo 轻薄本和搭载 i7-13700H 处理器的机器上,Stable Diffusion 在集成显卡上的表现效果。96EU 版本的英特尔锐炬 Xe 显卡强大的算力,可以支持 Stable Diffusion 软件上运行 FP16 精度的模型,快速生成高质量图片。

同时,他们还展示了在搭载 i7-13700K CPU + Arc A770 独显的机器上运行 Stable Diffusion 的效果,速度非常快。

此外,英特尔还展示了基于 Arc 显卡的人物动作的三维数字重建技术。通过 Arc 强大的算力和 OpenVINO 框架对 AI 算法的优化推理,可以实时探测和重建人物动作,并进行后期渲染。这项技术不需要智能穿戴设备,只需连接家用摄像头,即可实现实时探测和重建人物动作,并通过数字人的形象进行动画渲染。通过实时的骨骼点信息和 3D 重建,数字人可以展现出灵活多样的肢体动作,实现真实的三维动效。同时,根据用户的需求,可以自定义渲染器的画风,快速打造各种元宇宙应用。

在最后的涡轮卡展示环节,英特尔展示了他们新的涡轮 GPU 卡,Arc A770 16G。这张卡具有双槽全长全高的设计,适应各种边缘侧服务器机箱或设备机箱。它采用涡轮风扇设计,减少对机箱内流场的干扰,更适合多卡混合计算的服务器、炼丹炉场景。

从本次分享会看来,英特尔一直着力于发展 AI 技术,特别是当下火热的 AIGC 领域,英特尔也没有缺席。凭借 13代酷睿强劲的算力和不断的算法优化,现在即便是轻薄本也可支持大语言模型的本地运行。而在 Arc 显卡的加持下,Stable Diffusion 文生图的支持也在不断开展。同时,英特尔也在探索 AI 的下一代应用场景,并为企业级用户提供算力更强的解决方案。

通过这些技术的展示,英特尔向大家展示了他们在 AIGC 领域的领先地位和不断创新的能力。他们致力于为用户提供更智能、高效的计算体验,推动人工智能技术的发展和应用。随着技术的不断进步和完善,我们可以期待在未来看到更多来自英特尔的 AIGC 应用和解决方案。

相关稿件

酷睿轻薄本也能运行大语言模型,英特尔推动 PC 生成式 AI 落地

外国青年感受现代化成都:巴适得很

中国竞走队田径世锦赛陷奖牌荒 整体成绩不如日本

CBA官方更新福建注册信息:陈林坚顶薪续约2年 黎伊扬B类续约2年

徐州村BA篮球比赛时间+地点安排2023 徐州打篮球

约45万人民币 电动大众帕萨特欧洲开卖

核辐射检测仪电商今日爆单 专家:用普通仪器很难发现差

海外网友热议KT击败HLE:包括Viper在内,HLE全员都看起来很平庸

一加Ace2原神版 手机充满电会自动断电吗

深圳能源上半年净利润同比增长74.86%

明晚客战沧州雄狮,国安队将用“状态最好的11人”冲击三连胜

2023手机散热器横评:长得越怪、冻得越快

一次注册分期发行 用市场化力量调节 A 股融资节奏

炼化股票龙头排名分析,今日炼化股票价格多少?(2023/8/25)

肝跑了、胃到了心包里 罕见先天畸形新生儿上海获救

太阳纸业(002078.SZ)发半年度业绩,净利润12.51亿元,同比减少24.59%

洛阳钼业上半年产量跃升 下半年业绩将触底反弹

连城数控上半年营收18.9亿元:同比增长55%在手订单金额90亿元

聚焦二次供水和污水处理业务 舜禹股份上半年扣非净利润增长39%

8月25日生意社PP(纤维)基准价为7637.50元/吨

知名券商研究所,遭警示!

8月25日生意社新戊二醇基准价为9766.67元/吨

启动!市区大园六路建设前期工作正有序开展

国台办:坚决反对美国向中国台湾地区出售武器

吕梁:关于占用消防通道开设集市和娱乐设施的来信,官方回复

【今日天气预报】武汉2023年08月25日天气预报,多云,无持续风向,空气质量优

联合国贸易和发展会议最新报告指出—— 非洲迎来融入全球供应链新机遇

8月24日基金净值:国投瑞银新能源混合A最新净值1.9195,涨0.64%

印尼、马来西亚和泰国三国签署本币交易协议 减少对美元依赖

小米手环功能介绍台词(小米手环功能介绍)