Throttling и circuit breaker

Throttling и Circuit Breaker

在高負荷和多個積分中，不僅要縮放，而且要旋轉過載和雪崩狀故障。為此使用了兩個關鍵機制：
Throttling-實時監控查詢頻率,
Circuit Breaker-在相關服務出現故障時中斷呼叫鏈。

它們可保護API免受跌落,提高系統容錯能力,即使發生部分故障也有助於保持穩定運行。

什麼是throttling

特性	說明
頻率限制	控制指定時間間隔（RPS, RPM）中請求的數量
靈活的設置	endpoint、密鑰、用戶或IP限制
平穩減速	減少負載而不完全鎖定

什麼是電路斷路器

功能	做什麼
錯誤監控	監視API或外部服務中的錯誤/計時頻率
關閉呼叫	在達到故障閾值時暫時阻止呼叫
自動恢復	驗證可用性並啟用穩定呼叫

我們如何實現

庫的使用（例如：Resilience4j、Hystrix、Envoy、Kong）
設置輸入限制（網關）和後端邏輯
事件邏輯和故障/恢復指標
電路斷路器觸發時通知,帶寬急劇下降
與Prometheus、Datadog、Grafana進行集成以進行監控

優點

針對系統故障的「崩潰」保護
負載下和事件期間的穩定性
隔離問題組件並提高API的可靠性
簡化調試並快速響應異常
防止微服務體系結構出現級聯故障

在哪裏，特別重要

與支付網關和外部銀行交互的API
具有多種依賴性的微服務體系結構
擁有數百萬用戶且資源競爭激烈的應用程序
Realtime平臺對延遲敏感

Throttling和circuit breaker是API的戰略生存機制。我們將實施保護措施，即使在最不穩定的環境中，您的服務也能保持穩定、快速和可預測性。