18年持续创新，Amazon S3与时俱进应对云上"存"需求

北京2024年3月21日 /美通社/ -- 只要计算机依然遵循冯•诺依曼体系结构所定义的形态，那么关于计算的发展创新，大多都将围绕着"存"与"算"的协作。不过有趣的是，从古文明到计算机时代，千年以来人类对"存"的需求似乎总是优先于"算"——只要条件允许，人们就倾向于灾备性地保留尽可能多的数据，即便它们可能再也不会被用于计算；现在的电子产品也喜欢让用户在计算硬件相同但存储空间不同的产品中进行选择。

当然，在计算的世界中"存"和"算"只是在不同场景中有所侧重，缺一不可。只不过由于技术、成本等限制，人们在购买算力时往往精心算计，但对存储则倾向预留充足冗余。这也解释了为何在计算机领域的一些重大发展中，存储或是发挥重要作用，或是在第一时间享受到创新的增益。

如果将2006年亚马逊云科技成立，看作是拉开了云计算时代的帷幕，那么Amazon Simple Storage Service（Amazon S3）对象存储服务就是拉开帷幕的那只无形的手。作为亚马逊云科技的推出的第一个云服务，Amazon S3的到来，与那些隐约感受到数据膨胀压力的用户形成了一场双向奔赴。

现在，诞生已18年的Amazon S3已是最受欢迎的亚马逊云科技服务之一。随着云计算生态日益繁荣，计算场景来到机器推理、生成式人工智能等高阶应用，Amazon S3也在一路发展成长，成为云计算中基础但又从不缺席的环节。

首个云对象存储，Amazon S3揭开云计算时代的大幕

作为亚马逊云科技的"元老"级服务，Amazon S3目前为全球数百万各行各业的客户提供可靠、便捷的云存储。现在，Amazon S3 存储了超过 350 万亿个对象，平均每秒处理超过1亿次请求，能够胜任几乎所有工作负载。

Amazon S3能拥有持续18年的旺盛生命力，来自云计算所开创的颠覆性存储范式。云计算通过功能和服务取代了本地存储，上至无限的弹性容量、按用量付费……云计算使存储拥有了与业务同步成长的可能。

而且Amazon S3还提供了远超本地存储的可靠性，具有的11个9（99.999999999%）的持久性，意味着一万年时间跨度中1000万个对象才可能会丢一个，用户使用Amazon S3不需要在本地构建数据中心，无需操心数据存放位置，不用担心扩容问题，也几乎不用担心数据丢失的风险。

丰富的存储级别，Amazon S3以更经济的方式承载更多数据与应用

随着企业数字化转型的逐步推进，以及云计算技术对企业IT技术的重塑，企业在云上存放了数量众多、类型多样的数据，并在云上构建了越来越多的应用。企业一方面要解决存储成本持续增加的挑战；另一方面还需要满足不同应用的数据不同访问模式，比如，有的数据访问频次不同，需要的检索时效不同，有的需要即时检索，有的在几十个小时检索。

针对客户的这些需求，亚马逊云科技持续针对Amazon S3持续开展创新，如今Amazon S3提供了9个存储层级，不同层级有不同的访问特性和成本水平。2012年是云计算方兴未艾的年代，亚马逊云科技在标准Amazon S3的基础上又发布了Amazon S3 Glacier（现已更名为Amazon S3 Glacier Flexible Retrieval ），它为需要长期存储，且低访问频次的数据提供了低成本的数据存储方案，也成了云上存储多样化的一个重要开端。

此后，为了提供更加灵活的数据存取速度和成本效率，满足更多应用需求。亚马逊云科技先后推出了成本最低的深度归档存储Amazon S3 Glacier Deep Archive，支持快速检索的归档存储Amazon S3 Glacier Instant Retrieval，以及不常访问、但在需要时要能快速访问的Amazon S3 Standard-IA和Amazon  S3 One Zone-IA等。

金山办公是国内领先的办公软件和服务提供商，其旗舰产品 WPS Office是全球主流办公软件产品之一。WPS Office 对数据的存储和管理有极为严苛的要求：WPS Office 存储了 PB 级海量数据，带来了巨大的存储成本压力；同时，由于 WPS Office 为用户提供对 "冷" 文档的及时访问，因此对归档存储（Archive Storage）的数据提取时间也有更高的标准。为了降低最终用户的延迟和存储成本，WPS Office 在亚马逊云科技的协助下，最终通过 Amazon S3 完成了自动化生命周期管理流程的建立。其中，针对很少访问且需要毫秒级检索的长期数据，将其归档在更具有成本效益的 Amazon S3 Glacier Instant Retrieval 中。最终，WPS Office 有近一半的存储进入到了 Amazon S3 Glacier Instant Retrieval 中，达成了数据访问速度提升和存储成本大幅优化的双重效果。

此外，针对用户访问模式不明确以及数据访问模式不断改变的情况，亚马逊云科技还推出了Amazon S3新的存储层级——Amazon S3 Intelligent-Tiering。该服务可以根据访问频率自动将数据移至成本最低的存储层，在对象级别降低存储成本，并且不会影响性能表现。自 2018 年Amazon S3 Intelligent-Tiering 推出以来，与 Amazon S3 Standard 相比，客户通过采用 S3 Intelligent-Tiering 节省了 20 亿美元。

迎接人工智能技术发展，Amazon S3性能实现突破性提升

随着新的使用场景的出现，如机器学习训练和推理、交互式分析、金融模型模拟、实时广告和媒体内容创建，这类工作负载可能每分钟写入和访问数据达百万次，并需要一致的、毫秒级的响应时间以满足性能需求。例如，人工智能（AI）和机器学习模型训练通常需要在几分钟内处理数百万张图片和文本行，因此数据访问速度对于实现最高的计算效率至关重要。

Amazon S3上存储着各种不同类型的大量非结构化数据，这些非结构化数据通常是直接从真实世界中获取的，因此它能更真实地反映现实世界的复杂性和多维度信息，利用这些数据做训练能提高模型的实用价值，更好地满足企业用户需求。去年底，亚马逊云科技在2023年re:Invent全球大会上，发布Amazon S3 Express One Zone，这是Amazon S3在性能方面的一次突破性提升。它采用了单可用区的架构设计，拥有个位数毫秒级响应时间，性能比标准版Amazon S3快了10倍，每分钟可处理数百万次请求。

对于计算密集型负载，Amazon S3 Express One Zone延迟的降低对用户有显而易见的价值。用ImageNet数据集进行为期15天训练时，GPU经常需要等候标准版Amazon S3加载数据，而在换成S3 Express One Zone之后，GPU利用率持续稳定在高水平，最终提早完成任务，释放了GPU资源并节省成本。

Colorfront 致力于为电影行业开发高性能数字处理技术。"Colorfront 将高性能 GPU 架构与 Amazon S3 Express One Zone 集成，实现对文件进行转码、解码、转换和封装到各种格式的加速处理。" Colorfront 解决方案工程总监 Brandon Heaslip 表示，"借助  Amazon S3 Express One Zone 个位数毫秒级的数据访问速度，Colorfront的客户可以将数字视频处理速度提高70%，满足了流媒体传输中多样化的媒体和娱乐需求，并保持数字视频的标准。"

除了Amazon S3 Express One Zone以外，亚马逊云科技还发布了多个新特性，让Amazon S3更好地支撑人工智能/机器学习工作负载。亚马逊云科技在Amazon Common Runtime (CRT)中封装访问Amazon S3的性能最佳实践，从而提高S3的传输性能和传输稳定性。而且，CRT已经集成到包括AWS Python SDK、AWS CLI、Mountpoint以及PyTorch中，在CRT的帮助下，Mountpoint for Amazon S3和Amazon S3 Connector for PyTorch都可以提高存储的性能表现，为机器学习负载中的数据存储提供加速，使其更快完成训练任务，进而帮助企业节省成本。

结束语

在过去的18年里，Amazon S3成为众多用户上云的第一步，从存储开始步入云计算驱动的数字化转型。如今，Amazon S3还在持续创新，全球数百万客户正使用Amazon S3存储各种类型的数据，并将Amazon S3的数据对接到亚马逊云科技各种计算引擎、数据库引擎，与人工智能/机器学习和大数据分析等服务高度集成，为其业务创新带来了更广泛的可能性。