Throttling и circuit breaker

Throttling и Circuit Breaker

在高负荷和多个积分中，不仅要缩放，而且要旋转过载和雪崩状故障。为此使用了两个关键机制：
Throttling-实时监控查询频率,
Circuit Breaker-在相关服务出现故障时中断呼叫链。

它们可保护API免受跌落,提高系统容错能力,即使发生部分故障也有助于保持稳定运行。

什么是throttling

特性	说明
频率限制	控制指定时间间隔（RPS, RPM）中请求的数量
灵活的设置	endpoint、密钥、用户或IP限制
平稳减速	减少负载而不完全锁定

什么是电路断路器

功能	做什么
错误监控	监视API或外部服务中的错误/计时频率
关闭呼叫	在达到故障阈值时暂时阻止呼叫
自动恢复	验证可用性并启用稳定呼叫

我们如何实现

库的使用（例如：Resilience4j、Hystrix、Envoy、Kong）
设置输入限制（网关）和后端逻辑
事件逻辑和故障/恢复指标
电路断路器触发时通知,带宽急剧下降
与Prometheus、Datadog、Grafana进行集成以进行监控

优点

针对系统故障的"崩溃"保护
负载下和事件期间的稳定性
隔离问题组件并提高API的可靠性
简化调试并快速响应异常
防止微服务体系结构出现级联故障

在哪里，特别重要

与支付网关和外部银行交互的API
具有多种依赖性的微服务体系结构
拥有数百万用户且资源竞争激烈的应用程序
Realtime平台对延迟敏感

Throttling和circuit breaker是API的战略生存机制。我们将实施保护措施，即使在最不稳定的环境中，您的服务也能保持稳定、快速和可预测性。