thepixely
本站致力于IT相关技术的分享
Java Operator 结合 Paxos 实现 Kubeflow 自定义高可用组件 Java Operator 结合 Paxos 实现 Kubeflow 自定义高可用组件
在维护一个大规模 Kubeflow 集群时，我们遇到了一个棘手的状态管理问题。某些复杂的 Pipeline 需要一个轻量级、高可用的协调服务来存储关键元数据，例如当前执行阶段、动态生成的配置或是小规模的中间产物校验和。这些数据要求强一致性，
2023-10-27 分布式系统
Paxos 算法 框架 (Java) Kubeflow 设计模式 JavaScript
构建基于 Presto 查询的 Kong 动态路由插件并集成 SkyWalking 全链路追踪 构建基于 Presto 查询的 Kong 动态路由插件并集成 SkyWalking 全链路追踪
静态的路由规则已经无法满足我们日益复杂的金丝雀发布和 A/B 测试需求。业务方希望能够依据存储在数据湖中的用户画像数据（例如用户等级、所在城市、历史订单行为），实时地将流量动态切分到不同的上游服务版本。传统的基于 Header 或权重的路由
2023-10-27 API网关
设计模式 Kong Presto SkyWalking
构建基于Pulsar与Jib的Keras模型实时推理服务的生产实践 构建基于Pulsar与Jib的Keras模型实时推理服务的生产实践
我们团队的技术栈以JVM为核心，稳定性和可维护性是首要考量。然而，算法团队交付的产出物通常是Python环境下的Keras/TensorFlow模型。过去，我们通过Python Flask或FastAPI将其包装成HTTP服务，再在Kube
2023-10-27 MLOps
Pulsar Jib Keras Java TensorFlow
gRPC-Go 服务端微内核架构的两种插件化设计权衡 gRPC-Go 服务端微内核架构的两种插件化设计权衡
当团队需要构建一个统一的 gRPC 网关或中间件平台时，一个核心诉求很快就会浮现：业务逻辑必须与框架核心解耦。这个网关需要处理认证、日志、监控、流量控制等横切关注点，而各个业务方则希望能够快速、独立地迭代自己的逻辑，例如特殊的鉴权、协议转换
2023-10-27 后端架构
设计模式 gRPC-Go 核心库 架构设计
基于 OpenTelemetry 构建从前端交互到后端异步任务的全链路追踪体系 基于 OpenTelemetry 构建从前端交互到后端异步任务的全链路追踪体系
一个看似简单的用户点击，触发了我们内部监控仪表盘（使用 TypeScript 和 Tailwind CSS 构建）上的数据刷新操作。30秒后，告警系统报告一个后台数据处理工作单元（Worker）发生异常。这两个事件之间是否存在关联？用户的操
2023-10-27 可观测性
JavaScript Node.js TypeScript Tailwind CSS OpenTelemetry
构建基于 Qdrant 与 Scikit-learn 的多阶段向量检索管线并集成 Jaeger 全链路追踪 构建基于 Qdrant 与 Scikit-learn 的多阶段向量检索管线并集成 Jaeger 全链路追踪
我们最近交付的一个语义搜索服务在内部测试时表现尚可，但上线后，随着查询复杂度和并发量的增加，P95 延迟开始频繁触及告警阈值。服务本身并不复杂：一个 FastAPI 接口接收查询文本，使用 Scikit-learn 加载的 TfidfVec
2023-10-27 可观测性
Python OpenTelemetry Qdrant Scikit-learn Jaeger
2 / 5