thepixely
本站致力于IT相关技术的分享
  文章分类
分布式系统 3 API网关 1 MLOps 3 可观测性 3 后端架构 6 架构与设计 3 DevOps 2 数据工程 2 平台工程 1 前端架构 2 分布式架构 2 系统架构 1 架构设计 1
基于Java和Redis实现Feature Store中的热点特征计算防穿透分布式锁 基于Java和Redis实现Feature Store中的热点特征计算防穿透分布式锁
项目紧急上线了一套实时特征平台（Feature Store）的核心计算服务，最初几天流量平稳，一切看起来都很完美。然而，随着运营活动引流，某个核心用户群体的活跃度瞬间飙升，监控系统开始疯狂告警：计算集群的CPU利用率触顶，底层数据源（一个M
2023-10-27 分布式系统
Java 分布式锁 Code Review Feature Store 服务发现
利用 XState 与 Cloud Functions 构建持久化于 Cassandra 的分布式 Saga 协调器 利用 XState 与 Cloud Functions 构建持久化于 Cassandra 的分布式 Saga 协调器
一个持续超过30秒、跨越多个微服务的数据处理流程，一旦中间环节失败，就会导致数据状态不一致。在生产环境中，这种“数据孤岛”和“半成品”状态是灾难的开始。传统的两阶段提交（2PC）协议在这种长周期、异步的 serverless 场景下，由于其
2023-10-27 分布式系统
Google Cloud Functions Cassandra XState Chef Saga
Java Operator 结合 Paxos 实现 Kubeflow 自定义高可用组件 Java Operator 结合 Paxos 实现 Kubeflow 自定义高可用组件
在维护一个大规模 Kubeflow 集群时，我们遇到了一个棘手的状态管理问题。某些复杂的 Pipeline 需要一个轻量级、高可用的协调服务来存储关键元数据，例如当前执行阶段、动态生成的配置或是小规模的中间产物校验和。这些数据要求强一致性，
2023-10-27 分布式系统
Paxos 算法 框架 (Java) Kubeflow 设计模式 JavaScript