Bỏ qua để đến nội dung
ClaudeClaude AI VN

LLM gateway khác

Bài viết được dịch tự động từ bài viết gốc, chưa được kiểm tra lại bởi con người. Chỉ những bài viết có dấu tick xanh cạnh tiêu đề là đã được kiểm tra.

Mục này nói về việc dùng một gateway product tổ chức bạn đang chạy sẵn, thay vì Claude apps gateway. Về khái niệm gateway, cách nó nằm giữa Claude Code và provider, và cách chọn giữa Claude apps gateway với product khác, xem tổng quan gateway.

Bất kỳ gateway nào expose một API format được hỗ trợ đều dùng được. Anthropic không endorse, maintain, hay audit các gateway product bên thứ ba, và không hỗ trợ route Claude Code đến model không phải Claude qua bất kỳ gateway nào. Deploy gateway theo tài liệu riêng của nó, rồi hoàn tất phần phía Claude Code với các bước rollout bên dưới.

Gateway cung cấp gì

Phần tiêu đề “Gateway cung cấp gì”

Một gateway cho tổ chức bạn một nơi duy nhất để quản lý:

  • Credential: provider key nằm ở phía server; developer giữ gateway credential thay vào đó
  • Usage tracking: gán usage theo developer hoặc team, bất kể provider nào phục vụ request
  • Cost control: enforce budget và rate limit ở một nơi
  • Audit logging: log mọi model request để tuân thủ
  • Chuyển provider: đổi provider trong cấu hình gateway, không cần đụng máy developer

Tất cả trừ “chuyển provider” áp dụng dù upstream là Anthropic API hay cloud provider. Việc chuyển provider mà không cấu hình lại máy developer cũng phụ thuộc vào việc gateway expose một endpoint dạng Anthropic duy nhất bất kể upstream nào; một gateway expose format riêng của provider sẽ trói cấu hình client vào provider đó.

Đánh đổi là gateway trở thành hạ tầng tổ chức bạn phải vận hành. Claude Code thêm tính năng theo mỗi release, và một gateway không forward chúng sẽ làm hỏng tính năng tương ứng, nên gateway product cần được cập nhật theo Claude Code. Xem Gateway protocol reference để biết cần forward những gì.

Rollout gateway

Phần tiêu đề “Rollout gateway”

Khi sẵn sàng rollout một LLM gateway cho tổ chức, trình tự giống nhau dù chọn gateway product nào:

  1. Deploy gateway và cấp provider credential để nó xác thực request nó forward.
  2. Cấp mỗi developer một gateway credential, để usage gán đúng người và offboarding chỉ cần thu hồi một credential.
  3. Phân phối cấu hình qua managed settings file và công cụ secrets của bạn, để mọi máy nhận base URL và credential mà developer không cần tự cấu hình gì.
  4. Yêu cầu mỗi developer kiểm tra cấu hình có trong Claude Code để phát hiện sự cố phân phối sớm.

Rollout LLM gateway cho tổ chức đi qua từng bước và file cấu hình cần phân phối. Gateway chỉ là một phần của việc setup tổ chức; về policy enforcement, usage visibility, và data handling, xem Set up Claude Code for your organization.

Subscription và gateway

Phần tiêu đề “Subscription và gateway”

Trong khi một gateway credential variable hoặc apiKeyHelper đang hoạt động, subscription claude.ai của developer không được dùng: credential thay thế login subscription cho session đó, và usage limit của subscription không áp dụng. Traffic đó tính phí theo token cho chủ sở hữu credential mà gateway forward, ví dụ tài khoản Anthropic Console của tổ chức, hoặc tài khoản Amazon Bedrock, Google Cloud’s Agent Platform, Microsoft Foundry khi gateway route đến đó.

ANTHROPIC_BASE_URL là biến trỏ Claude Code vào gateway. Chỉ set biến này, không có gateway credential, không thay thế subscription. Request vẫn route qua gateway, nhưng một login claude.ai đã lưu vẫn là credential đang hoạt động, nên usage limit và billing của nó vẫn áp dụng. Gateway chuyển tiếp traffic này đến Anthropic phải forward capability OAuth trong anthropic-beta; xem tham chiếu request header.

Trang liên quan

Phần tiêu đề “Trang liên quan”
Phuc Tran

Phuc Tran

Software Engineer | Learning Claude