Throttling и Circuit Breaker
在高负载和多个积分中,不仅要缩放,而且要防止过载和雪崩状故障。为此使用了两个关键机制:
  • Throttling-实时监控请求频率,Circuit Breaker-在相关服务出现故障时中断呼叫链。

它们可保护API免受跌落,提高系统容错能力,即使发生部分故障也有助于保持稳定运行。


什么是throttling

表征说明说明
频率限制控制给定时间间隔(RPS、RPM)中的请求数量)
灵活的设置endpoint、钥匙、用户或IP限制
平稳的融化减少负载而不完全锁定

什么是电路断路器

功能做什么
错误监控监视API或外部服务中的错误/计时频率
关闭呼叫在达到故障阈值时暂时阻止呼叫
自动恢复稳定时检查可用性和启用呼叫

我们如何实现

库的使用(例如: Resilience4j、Hystrix、Envoy、Kong)

设置输入限制(网关)和后端逻辑
  • 事件逻辑和故障/恢复指标
  • 电路断路器触发时通知,带宽急剧下降
  • 与Prometheus、Datadog、Grafana进行集成以进行监控

优点

针对系统故障的"崩溃"保护
  • 负载下和事件期间的稳定性
  • 隔离问题组件并提高API的可靠性
  • 简化的调试和对异常的快速响应
  • 防止微服务体系结构出现级联故障

在哪里,特别重要

与支付网关和外部银行交互的API
  • 具有多种依赖性的微服务体系结构
  • 拥有数百万用户且资源竞争激烈的应用程序
  • Realtime平台对延迟敏感

Throttling和circuit breaker是API的战略生存机制。我们将实施保护措施,即使在最不稳定的环境中,您的服务也能保持稳定、快速和可预测性。

联系我们

请填写下方表格,我们会尽快回复您。