wellabb
本站致力于IT相关技术的分享
  文章分类
全栈开发 1 数据工程 3 架构与设计 3 架构设计 6 后端架构 5 可观测性 3 分布式系统 1 AI工程 1 前端架构 1 DevOps 1 DevSecOps 2 分布式架构 2 前端工程 1
构建基于 Apache Hudi 的统一可观测性数据湖以融合 APISIX 与 Sentry 数据 构建基于 Apache Hudi 的统一可观测性数据湖以融合 APISIX 与 Sentry 数据
我们面临一个日益棘手的困境：部署在 Kubernetes 集群中的 API 网关 APISIX 每秒产生数以万计的访问日志，而后端微服务通过 Sentry 报告了大量的异常事件。当线上出现故障时，Sentry 警报拉响，但异常堆栈本身往往缺
2023-11-15 数据工程
Sentry APISIX Apache Hudi Flink 可观测性
利用 Clojure 构建从 HBase 到 Delta Lake 的异构 CDC 数据同步架构 利用 Clojure 构建从 HBase 到 Delta Lake 的异构 CDC 数据同步架构
一个常见的架构困境是，如何将一个为高并发、低延迟随机读写优化的在线事务处理（OLTP）系统的数据，高效、可靠地同步到一个为复杂分析查询优化的在线分析处理（OLAP）系统。我们的核心业务依赖于 HBase，它承载着每秒数十万次的点查和范围扫描
2023-10-27 数据工程
HBase Clojure Delta Lake CDC 分布式系统
基于 FastAPI 和 Trino 构建 GCP 上的可伸缩异步数据查询网关 基于 FastAPI 和 Trino 构建 GCP 上的可伸缩异步数据查询网关
最初的矛盾点非常明确：业务分析团队需要一个API，通过它能直接查询存储在Google Cloud Storage (GCS)上的数据湖。我们选择Trino (Presto的分支) 作为查询引擎，因为它能很好地处理跨数据源的联邦查询。第一个版
2023-10-27 数据工程
FastAPI Trino GCP Python 架构设计