LLM API Security
Best practices for securing LLM API endpoints - authentication, rate limiting, key management, and cost control
Updated: August 2026
Tổng quan về mối đe dọa API LLM
Tiếp xúc khóa API
Các khóa được mã hóa cứng trong mã nguồn, khả năng hiển thị phía máy khách hoặc thông tin xác thực bị rò rỉ
Lạm dụng giới hạn tỷ lệ
Các cuộc tấn công tự động tiêu tốn hạn ngạch API hoặc gây ra sự từ chối dịch vụ
Tấn công chi phí
Thao túng kịp thời gây ra việc sử dụng mã thông báo quá mức và chi phí không mong muốn
Rò rỉ dữ liệu
Dữ liệu nhạy cảm trong lời nhắc hoặc phản hồi được hiển thị qua nhật ký
Phương thức xác thực
Khóa API
- Tạo khóa duy nhất cho mỗi người dùng/ứng dụng
- Sử dụng các biến môi trường để lưu trữ
- Xoay khóa thường xuyên (30-90 ngày)
- Triển khai thu hồi khóa
OAuth 2.0
- Triển khai cho các ứng dụng hướng tới người dùng
- Sử dụng mã thông báo truy cập có thời gian tồn tại ngắn
- Triển khai mã thông báo làm mới
- Định nghĩa phạm vi phù hợp
JWT Tokens
- Thời gian hết hạn ngắn
- Thuật toán ký mạnh
- Xác thực xác nhận quyền sở hữu phù hợp
- Hỗ trợ thu hồi mã thông báo
Giới hạn tốc độ và điều tiết
Giới hạn dựa trên mã thông báo
- Theo dõi mã thông báo đầu vào và đầu ra
- Đặt giới hạn mỗi phút/mỗi ngày
- Sử dụng cửa sổ trượt
- Triển khai cho phép tăng vọt
Kiểm soát chi phí
- Budget alerts (various thresholds)
- Hạn ngạch cho mỗi người dùng
- Ước tính mã thông báo trước khi yêu cầu
- Mũ cứng có bộ ngắt mạch
Các phương pháp tiếp cận theo cấp độ
- Cấp miễn phí: giới hạn nghiêm ngặt
- Cơ bản: giới hạn vừa phải
- Pro: giới hạn cao hơn
- Doanh nghiệp: thỏa thuận tùy chỉnh
So sánh bảo mật của nhà cung cấp
| Nhà cung cấp | Các tính năng chính | Giới hạn tỷ lệ | Bảo mật |
|---|---|---|---|
| OpenAI | Mô hình GPT, API hỗ trợ | RPM theo cấp | SOC 2, quản lý khóa API |
| Anthropic | Claude, sử dụng công cụ | Dựa trên mã thông báo | SOC 2, HIPAA có sẵn |
| Gemini, Vertex AI | Hạn mức dự án | SOC 2, HIPAA, ISO | |
| AWS Bedrock | Nhiều mô hình | Dựa trên tài khoản | AWS IAM, VPC, mã hóa |
Bảo mật LLM tự lưu trữ
Cách ly mạng
- Triển khai trong VPC/mạng riêng
- Sử dụng quy tắc tường lửa
- Không có quyền truy cập Internet công cộng
- VPN để quản lý
Bảo mật API
- Cho phép xác thực
- Sử dụng TLS/SSL
- Triển khai khóa API
- Giới hạn tỷ lệ
Bảo vệ mô hình
- Các tệp mô hình được mã hóa ở trạng thái lưu trữ
- Tải mô hình an toàn
- Không xuất mô hình
- Ghi nhật ký truy cập
Cost Attacks & Abuse Prevention
LLM APIs present unique cost attack vectors that traditional API security doesn't address.
Prompt Padding
Attacker adds invisible text to prompts to increase token count without user awareness.
User: [100KB invisible text] Tell me about AI
Repeated Requests
Automated tools making excessive API calls to drain budget quotas.
Context Window Overflow
Sending extremely long inputs to maximize per-request costs.
Model Selection Abuse
Switching to more expensive models through parameter manipulation.
Mitigations
- Implement token estimation before requests
- Set per-user/month cost hard limits
- Use input length limits and validation
- Fix model selection to intended tier
- Monitor for unusual usage patterns
Recent LLM API CVEs
| CVE ID | Description | Severity |
|---|---|---|
CVE-2025-61260 |
OpenAI Codex CLI command injection via project-local .env config | Critical |
CVE-2025-53767 |
Azure OpenAI privilege escalation flaw | High |
CVE-2025-14980 |
BetterDocs WordPress plugin exposes OpenAI API key to contributors | High |