Higress AI网关

Higress 是一款基于 Envoy 和 Istio 构建的 AI原生、高性能 API网关，由阿里巴巴开源并捐赠给云原生计算基金会（CNCF），于 2026 年 3 月 15 日正式成为 CNCF Sandbox 项目。它将流量网关、微服务网关、安全网关与 AI网关统一于单一控制面，为云原生和 AI 工作负载提供标准化的流量入口。

目前，Higress 已形成三大核心产品矩阵：

• API网关（https://higress.ai/api-gateway）：将流量网关、微服务网关和安全网关三合一，提供统一的服务暴露、流量管控与 API 全生命周期管理。
• AI网关（https://higress.ai/ai-gateway）：专为 AI 场景设计，统一代理大模型 API 与 MCP Server，支持模型、工具（MCP）及 AI Agent 的集中接入与管理。
• HiMarket（https://higress.ai/himarket）：助力企业构建 Agent、Model、MCP 市场，提供统一的 AI 能力管理平台。

Higress 诞生于阿里巴巴内部的大规模生产实践，旨在解决 Tengine 重载影响长连接服务以及 gRPC/Dubbo 负载均衡能力不足等问题。目前，其企业级用户已覆盖阿里巴巴集团、蚂蚁集团、携程、大疆创新、国泰产险、唯品会、Boss直聘、快手、Sealos 等，横跨互联网、金融、旅游出行、硬件、娱乐、创新企业等多个行业。

为何需要 AI网关：与传统 API网关的区别

在深入 Higress 之前，有必要理解 AI网关与传统 API网关的本质区别。

传统 API网关主要用于管理常规的 HTTP/RPC 流量，核心能力包括路由转发、认证鉴权、限流熔断和可观测性。然而，大语言模型（LLM）的流量特征与传统 API 存在显著差异：

传统网关在面对 AI 场景时往往力不从心，AI网关应运而生——其核心定位是作为 AI 流量的标准入口，提供统一的多模型代理、Token 级治理和 AI 特定的安全管控。

具体而言，Higress AI网关提供四大核心 AI 场景能力：

• 多模型代理：支持 100+ 主流模型的统一协议转换，支持模型级 Fallback，后端模型调度更加灵活。
• 应用防护：对输入到外部模型的数据进行隐私保护，对输出内容进行过滤，保障数据安全。
• AI 缓存：支持精确缓存及语义缓存，对相似/重复问题节省 Token、降低时延。
• Token 管控：追踪 Token 使用量，对超额消费进行限制，为 AI 应用的额度管理提供数据支持。

快速上手指南

Higress 提供了多种部署方式，最便捷的是通过 Docker 一键启动，适合个人开发者学习和本地测试。

1 Docker 快速部署

# 创建工作目录
mkdir higress; cd higress

# 启动 Higress（配置文件自动写入工作目录）
docker run -d --rm --name higress-ai -v ${PWD}:/data \
  -p 8001:8001 -p 8080:8080 -p 8443:8443 \
  higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest

端口说明：

• 8001：Higress UI 控制台入口
• 8080：网关 HTTP 协议入口
• 8443：网关 HTTPS 协议入口

所有 Docker 镜像均使用 Higress 自有镜像仓库，不受 Docker Hub 限速影响，且镜像提交和更新经过阿里云 ACR 安全扫描机制保护，生产环境使用同样安全可靠。若在海外拉取镜像超时，可替换为对应区域的镜像源：北美 higress-registry.us-west-1.cr.aliyuncs.com，东南亚 higress-registry.ap-southeast-7.cr.aliyuncs.com。

2 Kubernetes 部署（生产环境推荐）

对于生产环境，推荐使用 Helm 进行 Kubernetes 部署：

# 添加 Helm 仓库
helm repo add higress.io https://higress.io/helm-charts
helm repo update

# 创建命名空间
kubectl create namespace higress-system

# 安装 Higress
helm install higress -n higress-system higress.io/higress

验证部署状态：

# 查看 Pod 运行状态
kubectl get pods -n higress-system

# 获取控制台访问地址
EXTERNAL_IP=$(kubectl get svc -n higress-system higress-controller -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
echo "访问地址：http://${EXTERNAL_IP}:8001"

生产环境资源配置建议：

• 网关副本数：2-3 个（高可用推荐 3 个）
• CPU 请求：1-2 核心
• 内存请求：2-4 GB
• Controller 副本数：2 个

3 验证部署与访问控制台

部署完成后，访问 http://localhost:8001（或对应的 K8s Service 地址）即可进入 Higress Web 控制台。控制台提供开箱即用的图形化界面，可进行路由配置、插件管理、可观测性查看等操作。

核心功能亮点

1 AI网关：统一多模型代理

Higress 支持统一代理国内外所有主流模型供应商，包括 OpenAI、智谱、千问、文心等，通过统一的 Model API 调用不同大模型，使得后端模型调度更加灵活。企业可通过 AI网关集中管理所有 LLM API 服务接口，并在网关层实现：

• 统一协议转换：不同模型供应商的 API 协议各不相同，Higress 自动完成协议适配
• 多模型负载均衡：根据配置策略将请求分发到不同模型
• 模型级 Fallback：主模型不可用时自动降级到备用模型，保证高可用
• Token 级限流：基于 Token 使用量进行精细化配额管理

2 MCP Server 托管

Higress 通过插件机制支持托管 MCP（Model Context Protocol）Server，使 AI Agent 能够轻松调用各类工具和服务。通过 openapi-to-mcp 工具，可将 OpenAPI 规范快速转换为远程 MCP Server 进行托管。

托管 MCP Server 的核心优势包括：统一的认证授权机制、精细化的限流防滥用、全面的工具调用审计日志、丰富的可观测性监控，以及通过插件机制实现的动态更新（无需中断或断开连接）。

3 全新 Gateway API 与 Inference Extension 支持

在最新发布的 v2.2.0 版本中，Higress 实现了对 Gateway API 及 Inference Extension 的全新版本主要特性适配。这意味着：

• Higress 可作为成熟的 Kubernetes Ingress Controller，兼容主流 Nginx Ingress 注解
• 支持用户使用新版 Gateway API 配置网络路由，拥抱新一代 Kubernetes 服务网络标准
• 原生支持 AI 推理流量的治理，包括模型感知路由与智能负载均衡
• 在 Ingress Nginx 于 2026 年 3 月正式退役的背景下，Higress 提供了安全、即插即用的替代方案

4 Dify 官方插件集成

2026 年 4 月，Higress 官方推出了 Dify 模型代理插件，已正式上架 Dify 插件市场。用户在 Dify 插件市场搜索 Higress 即可获取并安装，配置网关路由和鉴权后，即可经网关访问文本生成、图片生成、向量嵌入、文本排序等模型服务。

该插件支持文本生成（OpenAI 兼容协议，支持思考模式、工具调用、流式调用、结构化输出）、图片生成（阿里云百炼）、向量嵌入（OpenAI 兼容）和文本排序（阿里云百炼），并支持 API Key 和 HMAC（AK/SK）两种鉴权方式。

5 强大的扩展能力：Wasm 插件生态

Higress 基于 Envoy 构建，支持通过 WebAssembly（Wasm）插件进行能力扩展，可使用 Go、Rust、JavaScript 等语言编写插件。这种扩展架构具有“即插即用、按需加载、安全隔离”的特点，每个扩展独立部署和升级，不会影响网关核心功能。

五、生态整合与社区动态

1 加入 CNCF

Higress 于 2026 年 3 月 15 日正式加入 CNCF，成为 Sandbox 级别项目。加入 CNCF 意味着 Higress 能够与 Kubernetes、Envoy、Istio 等顶级云原生项目更深度地协作，共同定义技术标准；同时依托 CNCF 的中立治理框架，吸引更多来自不同组织的贡献者，避免项目发展受单一厂商意志影响。

2 官网重构：AI 友好设计

2026 年 1 月，Higress 官网迎来全面升级，采用 Astro 5 + Starlight 技术栈，接入 llms.txt 标准，支持 Cursor、Claude Code 等主流 AI Coding 工具，使 AI 能够更高效地读取和理解文档内容，辅助开发者编写接入代码。

六、总结与建议

1 Higress 的核心定位

Higress 的核心价值在于将 AI网关、API网关与微服务网关统一于单一平台，解决了企业在云原生和 AI 转型中面临的“多套网关并存”的运维困境。对于正在从 Nginx Ingress 迁移的用户，Higress 提供了平滑的替代路径——兼容主流 Ingress 语义与常用 Nginx 注解，覆盖重写、限流、鉴权、TLS 等能力，并支持灰度切流、流量镜像与一键回滚。

2 适用场景与选型建议

Higress 特别适合以下场景：

• 已在 Kubernetes 上运行微服务，寻求与云原生生态深度集成的团队
• 需要同时管理传统 API 流量和 AI 模型流量的企业
• 希望构建统一 AI 中台，集中管理多模型调用和 Token 配额的组织
• 正在从 Ingress Nginx 迁移，需要平滑过渡方案的 Kubernetes 用户

3 未来发展建议

1. 积极参与社区：Higress 已加入 CNCF，用户可通过 GitHub Issues、微信群（添加微信号 nomadao）等渠道参与社区讨论和贡献。
2. 充分利用插件生态：Wasm 插件机制为业务定制提供了强大灵活性，建议有定制需求的团队学习 Wasm 插件开发。
3. 关注企业版：如需 99.99% 网关高可用保障和企业级技术支持，可考虑阿里云云原生 API网关（商业版）。
4. MCP 托管能力值得探索：随着 AI Agent 的普及，MCP Server 托管将成为 AI 基础设施的关键能力，Higress 在此方向布局较早，值得持续关注。

最新动态

• 路线图 (Roadmap)：根据规划，未来版本将进一步强化 AI 能力。例如，v2.3.0 版本计划支持通过 AI Agent 对 Higress 进行原生运维，并支持 WebRTC 协议以应对实时 AI 场景。
• 社区生态：Higress 已衍生出 HiMarket 等子项目，帮助企业构建统一的 AI 能力管理平台。此外，社区还积极参与了"开源之夏"等活动，推动项目发展。

相关资源