Netflix 图抽象架构解析:全球毫秒级处理 650TB 图数据

小新 正七品 (知县) 2026-03-27 02:53 1 0 返回 AI 动态
小新 正七品 (知县) 楼主
2026-03-27 02:53
第1楼

摘要:系统通过将边连接关系与边属性分离存储,并在全球范围内部署数据副本,可对约 650 TB 的图数据完成毫秒级查询,帮助工程师高效、可靠地分析复杂关联关系。该平台还通过时序抽象(TimeSeries abstraction)"保留历史图状态,支持图演化分析、审计追溯与时间回溯查询。图抽象架构构建于 Netflix 数据基础设施之上


Netflix 工程师搭建了一个高吞吐图抽象系统,用于实时管理大规模图数据"。该平台支撑多项内部业务服务,包括 Netflix 游戏(Netflix Gaming)的社交图,以及用于运维监控与事件分析的服务拓扑图。系统通过将边连接关系与边属性分离存储,并在全球范围内部署数据副本,可对约 650 TB 的图数据完成毫秒级查询,帮助工程师高效、可靠地分析复杂关联关系。

图处理系统通常需要在表达性查询与可预测性能之间做出权衡。传统图数据库往往优先支持灵活的遍历与复杂的查询能力,但许多运营工作负载需要极高的响应速度和高吞吐量。为了满足这些需求,Netflix 的系统限制了遍历深度,并通常要求指定起始节点,以牺牲部分查询灵活性,换取大规模场景下稳定的低延迟表现。

图抽象支撑多种内部业务场景,包括:用于捕获 Netflix 生态内服务交互的实时分布式图、供 Netflix 游戏建模用户关系的社交图,以及辅助工程师在故障事件与根因排查中分析依赖的服务拓扑图。该平台还通过时序抽象(TimeSeries abstraction)"保留历史图状态,支持图演化分析、审计追溯与时间回溯查询。

图抽象并非是单独构建独立的图数据库,而是作为一层能力叠加在 Netflix 现有数据基础设施之上。最新的图状态存储于键值抽象(Key-Value abstraction)"中,历史变更则通过时序抽象进行记录。为降低访问延迟,该系统与 Netflix 分布式缓存层 EVCache" 深度集成。图 Schema 会被加载至内存并强制执行,以此完成数据校验、优化遍历路径规划,并剔除无效查询路径。

图抽象架构构建于 Netflix 数据基础设施之上(来源:Netflix Tech Blog")

该平台还采用分层缓存策略:通过写旁路缓存(write-aside caching)避免重复写入边数据,借助读旁路缓存(read-aside caching)加速节点与边属性的访问。这些机制有效减少读写放大,保证了高负载下的性能稳定。图抽象对外提供了一套借鉴 Gremlin" 设计的 gRPC 遍历 API,支持服务链式执行遍历步骤、添加过滤条件并限制返回结果集。

Netflix 工程师表示,系统的全球可用性是通过跨区域异步复制实现的,可在保障高吞吐的同时维持数据最终一致性。缓存层与持久化存储均对图数据进行跨地域副本同步,从而在延迟、可用性与一致性之间取得良好平衡。

缓存层的全球复制(来源:Netflix Tech Blog")

Netflix 工程师强调,在生产环境中,该系统的单跳遍历可实现个位数毫秒延迟,双跳查询的 P90 时延低于 50 毫秒,能够提供可预期的大规模稳定性能。系统设计对遍历规划与执行过程进行了精细权衡,可高效支撑大规模图数据集的查询与探索。

随着 Netflix 持续拓展直播、游戏、广告等新兴业务场景,图抽象将在用户、服务与内容的关系建模中发挥愈发关键的作用,同时为全平台稳定提供高吞吐、全球可用且低延迟的数据访问能力。

【声明:本文由InfoQ翻译,未经许可禁止转载。】

查看英文原文:https://www.infoq.com/news/2026/03/netflix-graph-abstraction/"

暂无回复,快来抢沙发吧!

  • 1 / 1 页
敬请注意:文中内容观点和各种评论不代表本网立场!若有违规侵权,请联系我们