摘要:nbsp;亚马逊云科技首席开发者布道师Sébastien Stormacq"解释了bucket在挂载后如何暴露数据":当你通过文件系统处理特定的文件和目录时,相关的文件元数据和内容会放置到文件系统的高性能存储中。对于未存放在高性能存储中的文件(例如,需要大规模顺序读取的文件),S3 Files会直接从Amazon S3提供这些文件,以最大化吞吐量。nbsp;亚马逊云科技表示自己是唯一能够为对象存储提供全功能、高性能文件系统访问能力的供应商,并建议将S3 Files用于分析、机器学习、媒体处理等需要共享文件系统访问大规模数据集的工作负载。
亚马逊云科技近期推出了S3 Files",用户可以挂载Amazon S3 bucket,并通过标准文件系统接口访问其中的数据。应用可使用标准文件操作读写文件,系统会自动将其转换为S3请求,使计算服务能够直接处理存储在S3中的数据。
亚马逊云科技首席开发者布道师Sébastien Stormacq"解释了bucket在挂载后如何暴露数据":
当你通过文件系统处理特定的文件和目录时,相关的文件元数据和内容会放置到文件系统的高性能存储中。默认情况下,受益于低延迟访问的文件会存储并由高性能存储提供服务。对于未存放在高性能存储中的文件(例如,需要大规模顺序读取的文件),S3 Files会直接从Amazon S3提供这些文件,以最大化吞吐量。
亚马逊云科技表示自己是唯一能够为对象存储提供全功能、高性能文件系统访问能力的供应商,并建议将S3 Files用于分析、机器学习、媒体处理等需要共享文件系统访问大规模数据集的工作负载。Stormacq补充说:
在底层,S3 Files使用Amazon EFS,并可为活跃数据提供约1ms的延迟。该文件系统支持多个计算资源并发访问,并具备NFS的close-to-open一致性,非常适合会修改数据的交互式共享工作负载,从通过基于文件工具协作的Agentic AI Agent,到处理数据集的ML训练流水线均适用。
S3 Files支持智能预取,以预判数据访问需求。客户可以控制文件系统中存储的内容,包括选择加载完整文件数据或仅加载元数据,从而针对特定的访问模式进行优化。Amazon副总裁兼杰出工程师Andrew Warfield"解释了S3 Files背后的动机和设计取舍,并给出了一些实现细节。Warfield写道:
当创建或修改文件时,变更会被聚合,并且大约每60秒以单次PUT请求的形式提交回S3。同步是双向进行的,因此当其他应用修改bucket中的对象时,S3 Files会自动发现这些修改,并自动反映到文件系统视图中。如果出现两侧同时修改文件的冲突,S3是事实源,文件系统版本会被移动到lost+found目录,并通过CloudWatch指标标记该事件。30天未访问的文件数据会从文件系统视图中逐出,但不会从S3删除,因此存储成本会与活跃工作集成正比。
一些开发者对亚马逊云科技给一个长期被称为“不是文件系统”的服务加上文件系统接口这件事做出了调侃式的反应。与此同时,更广泛社区的反馈"呈现两极化,有人认可其更简单的开发体验,也有人担心潜在的成本。
在“S3 Is Not a Filesystem (But Now There's One In Front of It)"”一文中,Corey Quinn"称赞了该实现(“他们并不是简单给S3套一层POSIX就敷衍交差”),强调了它与Mountpoint for Amazon S3"的差异,认为其定价模型合理,并分析了它与EFS定价的对比。
费用"会按S3文件系统中的存储数据量计费,同时也会对小文件读取、所有写操作,以及用于在文件系统与S3 bucket之间同步数据的S3请求计费。在一个热门Hacker News讨论帖子"中,用户MontyCarloHall评论道:
这本质上是S3FS:用EFS(亚马逊云科技托管的NFS服务)作为活跃数据和小随机访问的缓存层。不幸的是,这也意味着它会带来EFS那种令人咋舌的定价。
S3 Files运行在EFS基础设施之上,并按设计采用相同的定价;但由于它仅对文件系统上的小规模高频访问数据计费,因此即便单价一致,总成本仍可能更低。Provenant CTODzhuneyt Ahmed"在测试这一新选项后,指出了当前的限制":必须启用S3版本控制,发布时不支持基础设施即代码(Infrastructure as Code),且IAM配置不够直观,信任策略使用的是EFS服务主体(service principal)和S3 Files的特定条件。
在另一项公告中,Amazon S3推出了新的默认安全设置",对新的和现有bucket禁用了使用客户自提供密钥的服务端加密(SSE-C)。
S3 Files现已在亚马逊云科技全部区域正式可用。
原文链接:
AWS Introduces S3 Files, Bringing File System Access to S3 Buckets"
暂无回复,快来抢沙发吧!
本次需消耗银元:
100
当前账户余额: 0 银元
亚马逊云科技近期推出了S3 Files",用户可以挂载Amazon S3 bucket,并通过标准文件系统接口访问其中的数据。应用可使用标准文件操作读写文件,系统会自动将其转换为S3请求,使计算服务能够直接处理存储在S3中的数据。
亚马逊云科技首席开发者布道师Sébastien Stormacq"解释了bucket在挂载后如何暴露数据":
亚马逊云科技表示自己是唯一能够为对象存储提供全功能、高性能文件系统访问能力的供应商,并建议将S3 Files用于分析、机器学习、媒体处理等需要共享文件系统访问大规模数据集的工作负载。Stormacq补充说:
S3 Files支持智能预取,以预判数据访问需求。客户可以控制文件系统中存储的内容,包括选择加载完整文件数据或仅加载元数据,从而针对特定的访问模式进行优化。Amazon副总裁兼杰出工程师Andrew Warfield"解释了S3 Files背后的动机和设计取舍,并给出了一些实现细节。Warfield写道:
一些开发者对亚马逊云科技给一个长期被称为“不是文件系统”的服务加上文件系统接口这件事做出了调侃式的反应。与此同时,更广泛社区的反馈"呈现两极化,有人认可其更简单的开发体验,也有人担心潜在的成本。
在“S3 Is Not a Filesystem (But Now There's One In Front of It)"”一文中,Corey Quinn"称赞了该实现(“他们并不是简单给S3套一层POSIX就敷衍交差”),强调了它与Mountpoint for Amazon S3"的差异,认为其定价模型合理,并分析了它与EFS定价的对比。
费用"会按S3文件系统中的存储数据量计费,同时也会对小文件读取、所有写操作,以及用于在文件系统与S3 bucket之间同步数据的S3请求计费。在一个热门Hacker News讨论帖子"中,用户MontyCarloHall评论道:
S3 Files运行在EFS基础设施之上,并按设计采用相同的定价;但由于它仅对文件系统上的小规模高频访问数据计费,因此即便单价一致,总成本仍可能更低。Provenant CTODzhuneyt Ahmed"在测试这一新选项后,指出了当前的限制":必须启用S3版本控制,发布时不支持基础设施即代码(Infrastructure as Code),且IAM配置不够直观,信任策略使用的是EFS服务主体(service principal)和S3 Files的特定条件。
在另一项公告中,Amazon S3推出了新的默认安全设置",对新的和现有bucket禁用了使用客户自提供密钥的服务端加密(SSE-C)。
S3 Files现已在亚马逊云科技全部区域正式可用。
原文链接:
AWS Introduces S3 Files, Bringing File System Access to S3 Buckets"