立即注册
 找回密码
 立即注册

00852香港网

搜索
热搜: 活动 交友 discuz
阿香婆
发表于: 2024-5-4 18:17:49 | 只看该作者 |倒序浏览

近日,在全球边缘计算大会上,网宿科技携网宿边缘智能平台重磅亮相,并分享了网宿边缘计算对于大模型时代的思考与探索。

网宿科技边缘智能平台资深架构师陈云辉表示,在未来大模型将成为一种基础设施,每个行业甚至每个企业都会有属于自己的大模型。而如何更好地将大模型落地到具体应用场景、提升生产力,是产业共同探索的方向,也是网宿边缘计算的机会所在。

边缘计算如何在大模型时代发挥价值在陈云辉看来,边缘计算可以从微调训练和边缘推理两大场景切入。

眼下,大模型和AIGC正引领全球科技新浪潮,而由于从零开始训练模型面临周期长,GPU需求大、成本高等问题,大模型的使用范式主要为“预训练 + 微调训练+提示词工程”,即基于预训练好的大模型进行领域知识微调训练或使用提示词工程,再应用到具体的场景,从而降低成本。

“这种模式可以加AIGC创新步伐,但大模型的参数量巨大,进行所有参数的微调成本非常高,LoRA成为有效的解决方法之一。网宿边缘计算可以支持LoRA、QLoRa等轻量微调训练方法,大大降低大模型个性化、领域化的适配成本,促进AIGC在垂直应用场景的落地。”陈云辉分析道。

不仅如此,随着多模态AI的发展以及AIGC在更多领域的应用,AIGC生成的内容将涵盖图片、语音以及视频,AI推理相对训练的成本占比将提升,对流量需求将越来越高。同时,伴随AIGC模型领域化、小型化、轻量化技术的发展,未来AIGC对算力要求也将持续降低。

“因而大模型推理运算可以从中心下沉到边缘,现更低的带宽成本、更的响应速度。网宿在边缘侧有得天独厚的势,可以很好地赋能边缘推理场景。”陈云辉表示。

作为领先的边缘计算服务商,网宿边缘计算拥有显著的资源协同势,可以与CDN业务在机房、算力、带宽、调度等方面充分协同,并且网宿基于全球2800个节点打造的轻量化边缘智能平台,节点分布广泛,平台运营经验丰富,可以复用到大模型场景。

得益于以上势,网宿科技探索了面向大模型与AIGC时代的产品形态,并逐步落地。据悉,网宿科技基于网宿边缘智能平台,针对大模型推理、训练等场景,构建了边缘GPU算力平台、开源大模型训练部署平台,并输出垂直领域的解决方案,以适应市场需求和技术发展,让大模型赋能百业。

其中,网宿边缘GPU算力平台基于网宿广泛分布的节点资源,提供轻量化算力资源,支持GPU虚拟化,可满足轻量AI任务场景的需求,如AI推理、深度学习、图形可视化等。

网宿开源大模型训练部署平台基于开源预训练大模型,提供包含模型微调训练、性能评估、部署监控、轻量化推理等功能的端到端大模型服务平台,可降低大模型应用落地成本,帮助客户打造自己专属的的大模型。

此外,网宿提供垂直领域的解决方案,包括开箱即用的基于私有大模型的企业知识库解决方案,可以服务企业内部与外部客户,以及针对电商领域的图像生成解决方案,如AI模特等,帮助垂直领域降本增效。

陈云辉表示,“以上种产品形态分别对应Iaas、PaaS 、SaaS层,未来我们希望打造全栈解决方案,降低AIGC的使用门槛。我们相信,随着大模型和AIGC的广泛应用,网宿边缘智能平台将迎来更多用武之地。”

值得一提的是,此次会上,陈云辉还重点展示了网宿边缘智能平台在AI应用场景的践经验。

网宿边缘智能平台基于网宿丰富的节点管理和调度能力,针对边缘计算场景提供云边一体化协同托管方案,可以一站式纳管各类架构的边缘设备,将云上应用延伸到边缘,满足客户对边缘计算资源的远程管控、数据处理、分析决策、AI应用等诉求。目前该平台已经服务于智能养殖、智能换电、智能勘测、智能安防等AI应用场景,成功帮助客户节约建设成本、提升运营效率。

为了快速增长,乐玩谷新区手游不惜改变战略,重新布局产品,从而获得意想不到的效果。乐玩谷新区手游致力于为玩家提供最受欢迎和高品质的游戏。https://www.lwgxqsy.com

跳转到指定楼层
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

主题:231382 | 回复:231689





00852香港网X

0511.net镇江网 分享生活 温暖你我

0511.net镇江网|镇江大小事,尽在镇江网! 镇江网由镇江亿速网络科技有限公司组建。镇江网汇集了镇江本地新闻信息,视频专题、国内外新闻、民生资讯、社会新闻、镇江论坛等。镇江网是镇江地区最具影响力的综合性门户网站,是镇江人浏览本地新闻的首选网站。...

点击查看详情 

快速回复 返回顶部 返回列表
友情链接