thepixely
本站致力于IT相关技术的分享
  文章分类
分布式系统 3 API网关 1 MLOps 3 可观测性 3 后端架构 6 架构与设计 3 DevOps 2 数据工程 2 平台工程 1 前端架构 2 分布式架构 2 系统架构 1 架构设计 1
利用TiDB和Datadog为实时特征平台构建数据质量与性能可观测性管道 利用TiDB和Datadog为实时特征平台构建数据质量与性能可观测性管道
模型在生产环境中的表现衰退，往往不是算法问题，而是数据问题。我们最初的MLOps平台在这一点上是个黑盒。特征计算和注入TiDB的流程看起来运转正常，但当线上欺诈检测模型的准确率开始无预警下滑时，我们才意识到，我们对“数据”本身的状态一无所知
2023-10-27 MLOps
Python TiDB MLOps Datadog Observability
构建基于Go-Gin与SSE的MLflow训练过程实时观测管道并集成Datadog监控 构建基于Go-Gin与SSE的MLflow训练过程实时观测管道并集成Datadog监控
MLflow的Web UI对于训练结束后的复盘分析相当有用，但在动辄数小时甚至数天的深度学习训练任务中，依赖手动刷新页面来查看损失函数（Loss）或准确率（Accuracy）的变化，其体验是滞后且低效的。团队内部的需求很明确：我们需要一个能
2023-10-27 MLOps
Datadog Server-Sent Events (SSE) MLflow Go-Gin
构建基于Pulsar与Jib的Keras模型实时推理服务的生产实践 构建基于Pulsar与Jib的Keras模型实时推理服务的生产实践
我们团队的技术栈以JVM为核心，稳定性和可维护性是首要考量。然而，算法团队交付的产出物通常是Python环境下的Keras/TensorFlow模型。过去，我们通过Python Flask或FastAPI将其包装成HTTP服务，再在Kube
2023-10-27 MLOps
Pulsar Jib Keras Java TensorFlow