AWS Bedrock

Hermes Agent hỗ trợ Amazon Bedrock như một provider gốc sử dụng Converse API — không phải endpoint tương thích OpenAI. Điều này cho bạn toàn quyền truy cập hệ sinh thái Bedrock: xác thực IAM, Guardrails, inference profiles xuyên vùng, và tất cả foundation models.

Yêu cầu trước

• Thông tin xác thực AWS — bất kỳ nguồn nào được hỗ trợ bởi chuỗi credential boto3:
  • IAM instance role (EC2, ECS, Lambda — không cần cấu hình)
  • Biến môi trường AWS_ACCESS_KEY_ID + AWS_SECRET_ACCESS_KEY
  • AWS_PROFILE cho SSO hoặc named profiles
  • aws configure cho phát triển local
• boto3 — cài đặt với pip install hermes-agent[bedrock]
• Quyền IAM — tối thiểu:
  • bedrock:InvokeModel và bedrock:InvokeModelWithResponseStream (cho inference)
  • bedrock:ListFoundationModels và bedrock:ListInferenceProfiles (cho model discovery)

EC2 / ECS / Lambda

Trên AWS compute, gắn IAM role với AmazonBedrockFullAccess là xong. Không cần API keys, không cần cấu hình .env — Hermes tự động phát hiện instance role.

Bắt đầu nhanh

# Cài đặt với hỗ trợ Bedrock
pip install hermes-agent[bedrock]

# Chọn Bedrock làm provider
hermes model
# → Chọn "More providers..." → "AWS Bedrock"
# → Chọn region và model

# Bắt đầu chat
hermes chat

Cấu hình

Sau khi chạy hermes model, file ~/.hermes/config.yaml sẽ chứa:

model:
  default: us.anthropic.claude-sonnet-4-6
  provider: bedrock
  base_url: https://bedrock-runtime.us-east-2.amazonaws.com

bedrock:
  region: us-east-2

Region

Thiết lập AWS region theo các cách sau (ưu tiên từ cao đến thấp):

1. bedrock.region trong config.yaml
2. Biến môi trường AWS_REGION
3. Biến môi trường AWS_DEFAULT_REGION
4. Mặc định: us-east-1

Guardrails

Để áp dụng Amazon Bedrock Guardrails cho tất cả model invocations:

bedrock:
  region: us-east-2
  guardrail:
    guardrail_identifier: "abc123def456"  # Từ Bedrock console
    guardrail_version: "1"                # Số phiên bản hoặc "DRAFT"
    stream_processing_mode: "async"       # "sync" hoặc "async"
    trace: "disabled"                     # "enabled", "disabled", hoặc "enabled_full"

Khám phá Model

Hermes tự động khám phá các model có sẵn qua Bedrock control plane. Bạn có thể tùy chỉnh:

bedrock:
  discovery:
    enabled: true
    provider_filter: ["anthropic", "amazon"]  # Chỉ hiển thị các provider này
    refresh_interval: 3600                     # Cache trong 1 giờ

Các Model có sẵn

Bedrock models sử dụng inference profile IDs cho on-demand invocation. Trình chọn hermes model tự động hiển thị chúng, với các model được đề xuất ở đầu:

Model	ID	Ghi chú
Claude Sonnet 4.6	us.anthropic.claude-sonnet-4-6	Đề xuất — cân bằng tốt nhất giữa tốc độ và khả năng
Claude Opus 4.6	us.anthropic.claude-opus-4-6-v1	Mạnh nhất
Claude Haiku 4.5	us.anthropic.claude-haiku-4-5-20251001-v1:0	Claude nhanh nhất
Amazon Nova Pro	us.amazon.nova-pro-v1:0	Flagship của Amazon
Amazon Nova Micro	us.amazon.nova-micro-v1:0	Nhanh nhất, rẻ nhất
DeepSeek V3.2	deepseek.v3.2	Open model mạnh
Llama 4 Scout 17B	us.meta.llama4-scout-17b-instruct-v1:0	Model mới nhất của Meta

Suy luận xuyên vùng

Models có tiền tố us. sử dụng cross-region inference profiles, cung cấp dung lượng tốt hơn và tự động failover giữa các AWS regions. Models có tiền tố global. định tuyến xuyên tất cả regions có sẵn trên toàn thế giới.

Chuyển Model giữa phiên

Sử dụng lệnh /model trong cuộc hội thoại:

/model us.amazon.nova-pro-v1:0
/model deepseek.v3.2
/model us.anthropic.claude-opus-4-6-v1

Chẩn đoán

hermes doctor

Doctor kiểm tra:

• Thông tin xác thực AWS có sẵn không (env vars, IAM role, SSO)
• boto3 đã được cài đặt chưa
• Bedrock API có thể truy cập được không (ListFoundationModels)
• Số lượng model có sẵn trong region của bạn

Gateway (Nền tảng nhắn tin)

Bedrock hoạt động với tất cả nền tảng gateway của Hermes (Telegram, Discord, Slack, Feishu, v.v.). Cấu hình Bedrock làm provider, sau đó khởi động gateway bình thường:

hermes gateway setup
hermes gateway start

Gateway đọc config.yaml và sử dụng cùng cấu hình Bedrock provider.

"No API key found" / "No AWS credentials"

Hermes kiểm tra credentials theo thứ tự:

1. AWS_BEARER_TOKEN_BEDROCK
2. AWS_ACCESS_KEY_ID + AWS_SECRET_ACCESS_KEY
3. AWS_PROFILE
4. EC2 instance metadata (IMDS)
5. ECS container credentials
6. Lambda execution role

Nếu không tìm thấy, chạy aws configure hoặc gắn IAM role cho compute instance.

"Invocation of model ID ... with on-demand throughput isn't supported"

Sử dụng inference profile ID (có tiền tố us. hoặc global.) thay vì bare foundation model ID. Ví dụ:

• ❌ anthropic.claude-sonnet-4-6
• ✅ us.anthropic.claude-sonnet-4-6

"ThrottlingException"

Bạn đã đạt giới hạn tốc độ per-model của Bedrock. Hermes tự động retry với backoff. Để tăng giới hạn, yêu cầu tăng quota trong AWS Service Quotas console.