AI Infra on 悉达多 https://chi-kai.github.io/categories/ai-infra/ Recent content in AI Infra on 悉达多 Hugo zh-cn Thu, 18 Apr 2024 18:12:04 +0800 网关限流的策略 https://chi-kai.github.io/post/gateway/ Thu, 18 Apr 2024 18:12:04 +0800 https://chi-kai.github.io/post/gateway/ <p>最近在做一个基于 Pingora 的 AI 网关，限流是其中一个重要问题。在这里做一下记录</p> <h2 id="为什么网关需要限流">为什么网关需要限流</h2> <p>网关作为系统的入口，承担着连接客户端和后端服务的重要角色。限流机制在网关层面实现有以下几个关键原因：</p>