thepixely
本站致力于IT相关技术的分享
Java Operator 结合 Paxos 实现 Kubeflow 自定义高可用组件 Java Operator 结合 Paxos 实现 Kubeflow 自定义高可用组件
在维护一个大规模 Kubeflow 集群时，我们遇到了一个棘手的状态管理问题。某些复杂的 Pipeline 需要一个轻量级、高可用的协调服务来存储关键元数据，例如当前执行阶段、动态生成的配置或是小规模的中间产物校验和。这些数据要求强一致性，
2023-10-27 分布式系统
Paxos 算法 框架 (Java) Kubeflow 设计模式 JavaScript
构建基于 Presto 查询的 Kong 动态路由插件并集成 SkyWalking 全链路追踪 构建基于 Presto 查询的 Kong 动态路由插件并集成 SkyWalking 全链路追踪
静态的路由规则已经无法满足我们日益复杂的金丝雀发布和 A/B 测试需求。业务方希望能够依据存储在数据湖中的用户画像数据（例如用户等级、所在城市、历史订单行为），实时地将流量动态切分到不同的上游服务版本。传统的基于 Header 或权重的路由
2023-10-27 API网关
设计模式 Kong Presto SkyWalking
构建基于Pulsar与Jib的Keras模型实时推理服务的生产实践 构建基于Pulsar与Jib的Keras模型实时推理服务的生产实践
我们团队的技术栈以JVM为核心，稳定性和可维护性是首要考量。然而，算法团队交付的产出物通常是Python环境下的Keras/TensorFlow模型。过去，我们通过Python Flask或FastAPI将其包装成HTTP服务，再在Kube
2023-10-27 MLOps
Pulsar Jib Keras Java TensorFlow
构建基于 Qdrant 与 Scikit-learn 的多阶段向量检索管线并集成 Jaeger 全链路追踪 构建基于 Qdrant 与 Scikit-learn 的多阶段向量检索管线并集成 Jaeger 全链路追踪
我们最近交付的一个语义搜索服务在内部测试时表现尚可，但上线后，随着查询复杂度和并发量的增加，P95 延迟开始频繁触及告警阈值。服务本身并不复杂：一个 FastAPI 接口接收查询文本，使用 Scikit-learn 加载的 TfidfVec
2023-10-27 可观测性
Qdrant Scikit-learn Jaeger OpenTelemetry Python
将领域驱动设计的限界上下文映射到Docker Swarm服务栈的架构实践 将领域驱动设计的限界上下文映射到Docker Swarm服务栈的架构实践
一个团队开始采用领域驱动设计（DDD）时，最常遇到的挑战并非理解聚合根或实体，而是在于如何将精心划分的“限界上下文”（Bounded Context）这一战略设计概念，真实地、物理地映射到生产环境的基础设施上。如果上下文之间的边界在代码层面
2023-10-27 后端架构
容器编排 Docker Swarm Domain-Driven Design (DDD) 微服务
利用Celery与VPC构建与Gatsby集成的Pinecone异步向量化管道并嵌入Lua动态排序 利用Celery与VPC构建与Gatsby集成的Pinecone异步向量化管道并嵌入Lua动态排序
我们面临一个日益严峻的挑战：内部技术文档库（数万份Markdown文件，托管在Git中）的检索效率已经降至冰点。传统的基于关键词的搜索（如grep或Elasticsearch的BM25）在处理概念相似但用词不同的查询时表现拙劣。“如何实现服
2023-10-27 架构与设计
Gatsby VPC Celery Pinecone Lua
2 / 5