如何把大模型用起来,亚马逊云科技以数据基座助力企业开启智能生产力
-
2024-05-29
来源:极客公园
当大模型厂商开始打价格战,显然,当前基于 API 调用的大模型能力尚未拉开明显差距。一个通用、标准化的大模型能力距离在实际场景中能够用起来,还有很大距离。
换句话说,每个公司都能访问相同的基础模型,但那些能够利用自己的数据构建具有真正商业价值的生成式人工智能应用的公司,才能脱颖而出,作为「干线物流」+「前置仓」,将智能生产力输送到各个场景中。
这一系列的起点,是基于数据、不断更新的数据,搭建 AI 应用的专属「模型引擎」。
当前,通过数据定制基础模型的方式主要分为三大类:检索增强生成(RAG)、微调和持续预训练,分别适用不同的应用场景。
检索增强生成 (RAG)——企业可以将自身的知识库、数据库等与生成式 AI 模型相结合, 在生成过程中实时检索和利用企业内部的相关数据, 从而提高生成结果的准确性、一致性和信息量。这个方法相对简便。适用场景包括知识时效性、控制幻觉、用户隐私数据保护、企业私域知识等。
微调——微调使用与目标任务相关的数据对模型进行进一步训练, 以提高其在特定任务上的性能。微调的门槛介于预训练和 RAG 两者之间。适用场景包括角色理解、输入理解、输出格式控制等。
持续预训练——企业利用自身专有数据 (如内部文档、客户记录等) 对模型进行持续预训练。这种持续预训练门槛较高,成本较大,但是可以得到一个企业自身定制的行业大模型。适用场景包括理解行业领域知识/术语,以及用于严控数据合规等。
RAG 需要 GB 级企业数据,微调需要 GB 级人工标的高质量数据,持续预训练则需要 TB 级未标的原始数据
RAG 的数据来源是企业内部文档库、数据库、数据仓库、知识图谱;微调数据来源为私域知识;持续预训练数据来源为公开的数据集或企业各部门的数据
技术要求上,RAG 需要向量检索来迅速查找让模型能快速准确地进行响应;微调需要选取和检验符合业务需求的高质量数据集;持续预训练需要的是大规模、分布式清洗加工原始数据集的能力。
在这一点上, 老牌巨头亚马逊云科技通过不断完善 Amazon Bedrock 技术栈,帮助企业利用独特的场景、数据,打造自己的「模型引擎」。
在本周即将举办的亚马逊中国峰会前夕,亚马逊云科技在北京举办了一场沟通会,阐述了 Amazon Bedrock 帮助当前公司落地大模型,将数据变为可用的生产力。
在这里,数据基座构建将基于三大核心能力,即模型微调和预训练所需的数据处理能力、利用专有数据与模型快速结合以产生独特价值的能力,以及有效处理新数据以助推生成式 AI 应用持续快速发展的能力,助力企业在生成式 AI 时代取得成功。
亚马逊云科技大中华区产品部总经理陈晓建表示:「企业需要的是懂业务、懂用户的生成式 AI 应用,而打造这样的应用需要从数据做起。亚马逊云科技构建数据基座的三大核心能力涵盖从基础模型训练到生成式 AI 应用构建的重要场景,能够帮助企业轻松应对海量多模态数据,提升基础模型能力。作为全球云计算的开创者和引领者,亚马逊云科技正在帮助各个行业、各种规模的企业打造强健的数据基座,在确保用户业务和数据安全的前提下,将数据的独特价值赋予基础模型和生成式 AI 应用,加速企业业务增长。」
优秀的数据处理能力,快速提高模型微调和预训练质量
生成式 AI 基础模型微调和预训练需要将海量的多样化原始数据转化为高质量的大数据集,这对数据存储、清洗和治理都提出了更严峻的挑战。
在数据存储方面,扩展性和响应速度是关键。Amazon Simple Storage Service(Amazon S3)对象存储几乎是云上扩展性的代名词,它支持广泛的数据协议,能够轻松应对各种数据类型,还支持智能分层以降低训练成本。专门构建的文件存储服务 Amazon FSx for Lustre 则能够提供亚毫秒延迟和数百万 IOPS 的吞吐性能,能够进一步加快模型优化的速度。
在数据清洗方面,企业面临着繁重的数据清洗加工任务,Amazon EMR Serverless 和 Amazon Glue 可以帮助企业轻松完成数据清理、去重、乃至分词的操作,让企业专注于生成式 AI 业务创新。Amazon EMR serverless 采用无服务器架构,帮助企业运行任何规模的分析工作负载,自动扩展功能可在几秒钟内调整资源大小,以满足不断变化的数据量和处理要求。Amazon Glue 是一个简单可扩展的无服务器数据集成服务,可以轻松快速地完成微调或预训练模型的数据准备工作。
在数据治理方面,企业难以在多个账户和区域中查找数据,也缺乏有效的数据治理工具。Amazon DataZone 让企业能够跨组织边界大规模地发现、共享和管理数据,不但能够为多源多模态数据进行有效编目和治理,而且还提供简单易用的统一数据管理平台和工具,从而为用户解锁所有数据的潜能。
数据与模型快速结合,让企业专有数据释放更大价值
生成式 AI 基础模型的局限性之一在于无法及时拥有企业专有数据,因此通过技术手段加速数据与模型的结合成为企业数据基座的第二项关键能力。检索增强生成(Retrieval-Augmented Generation,RAG)技术被普遍认为是实现数据与模型结合的主要途径之一,它通过将数据转换为向量并存储到向量数据库中,从而将语义的关联性转化为向量间的数学距离问题,以实现内容的关联性计算。现代应用程序需精准理解用户需求并正确关联产品或内容,这一需求广泛存在于搜索、评论、购物车及产品推荐等交互框架中,这些框架又依赖于功能各异的数据库,这使得数据库成为实施 RAG 技术的理想平台。
亚马逊云科技将向量搜索的支持功能加入到主流的数据服务中,通过将数据和向量存储在一起来提升数据查询性能。这能够让企业轻松利用 RAG 技术将专有数据提供给基础模型,从而释放更大价值。此外,亚马逊云科技还为图数据库 Amazon Neptune 推出了分析数据库引擎,以结合图数据库与大模型的优势,从而能够快速从图形数据中获取洞察,并进行更快的向量搜索。
有效处理生成式 AI 应用的新数据,降低模型频繁调用成本并提升性能
对生成式 AI 应用程序而言,基础模型频繁调用将会导致成本的增加和响应的延迟,因此如何处理生成式 AI 应用程序新生成的数据,提升模型调用效率成为企业数据基座的第三项关键能力。Amazon Memory DB 内存数据库通过缓存之前问答生成的新数据,实现对类似问题的快速响应和准确回答,同时有效降低基础模型的调用频率。Amazon Memory DB 能够存储数百万个向量,只需要几毫秒的响应时间,能够以 99% 的召回率实现每秒百万次的查询性能。
此外,生成式 AI 应用程序需要快速占领市场。亚马逊云科技通过提供无服务器数据库服务和 Amazon OpenSearch Serverless 用于向量搜索,最大限度为企业减少运维负担和成本,消除性能瓶颈,使企业能够专注于生成式 AI 业务创新。
Amazon Music 通过分析用户和歌曲的特征,并将它们转换成向量以提高推荐精准度。Amazon Music 已通过 Amazon OpenSearch 将 1 亿首歌曲编码成向量并进行索引,以为全球用户提供实时音乐推荐。Amazon Music 目前在 Amazon OpenSearch 中管理着 10.5 亿个向量,并能够处理每秒高达 7,100 次的查询峰值,有效支撑其推荐系统。
店匠科技,用智能生产力重塑电商出海
店匠科技 SHOPLAZZA 是国内领先的电商独立站 SaaS 平台,服务于超过 36 万家跨境电商客户,包括品牌卖家、精品卖家、店群卖家和外贸工厂。
店匠 SaaS 平台包括行业出海加速方案、品牌出海解决方案和独立站云升级方案,涵盖跨境小白、精品卖家、无货源卖家、TikTok 卖家、工贸一体、品牌商家、外贸工厂、抖音卖家、亚马逊卖家、国内平台卖家等各种不同的跨境电商群体。
作为国内领先的电商独立站 SaaS 平台,店匠科技提供多种不同的便捷功能帮助用户实现快速建站,这些功能包括高转化店铺主题模版、拖拽式主题编辑器、一站式支付解决方案、高效多进程店铺管理、多平台广告投放追踪和优化。
在大模型到来后, 店匠科技基于亚马逊云科技的产品,在四大场景中探索新的「最佳实践」,分别是:GenAl 营销素材创作平台、 AI 建站 Copilot、智能客服、智能推荐&搜索。
店匠科技(Shoplazza)首席科学家谢中流博士表示,推荐、智能客服、素材生成、AI 建站等,这几个方面极大地改变了原先跨境电商这个生意的运作方式。只要把大模型能力适配在对的客户、对的场景上,效率的提升是非常显著的,比如在客服领域。
他说,「我们的客服其实是更多是教大家去用我们店匠自身的产品。由于我们的文档化积累、语料积累,可以很快基于亚马逊的产品做整合重塑,相应地,也能很直观地观察到效率的提升」。
- 推荐
- 新闻
- 观点
- 制造
- 批发零售
- 交通物流
- IT/互联网
- 鞋服纺织
- 家居家具
- 软件信息
推荐
我要评论