Gọi cho Hermes Agent của bạn qua điện thoại bằng ElevenAgents

Nếu bạn copy bài viết này vào coding agent của mình, nó có thể thực hiện nhiều bước từ nó cho bạn

Điều gì sẽ xảy ra nếu coding agent của bạn có thể nhấc máy? Bạn đang rời khỏi bàn làm việc và muốn biết liệu đợt chạy thử tối qua đã thành công hay bạn muốn khởi động một quá trình refactor và để nó tự chạy trong khi bạn lái xe.

Hermes đã hỗ trợ Text to Speech và Speech to Text với ElevenLabs được tích hợp sẵn, nhưng để thực sự có khả năng đàm thoại, bạn cần có ElevenAgents.

Kết nối cả hai, Hermes có thể trả lời các cuộc gọi điện thoại của bạn.

**

Kiến trúc

Sơ đồ cho Luồng Agent

ElevenLabs Agents xử lý việc chuyển lượt, tổng hợp giọng nói và nhận dạng, tích hợp điện thoại và các vấn đề liên quan đến giọng nói khác.

OpenClaw xử lý các công cụ, bộ nhớ và kỹ năng.

Các hệ thống giao tiếp bằng giao thức Chat Completions tương thích với OpenAI tiêu chuẩn. ElevenLabs gửi mỗi lượt hội thoại đến Hermes thông qua:

1POST /v1/chat/completions

Hermes trả lời như một LLM tương thích với OpenAI, nhưng đằng sau endpoint đó là toàn bộ runtime agent của Hermes.

**

Điều kiện tiên quyết

• Một tài khoản ElevenLabs
• Một Hermes Agent được cấu hình với model/provider hoạt động
• ngrok được cài đặt và xác thực
• Một tài khoản Twilio, hoặc một thiết lập số điện thoại khác được ElevenLabs hỗ trợ, nếu bạn muốn kết nối một số điện thoại thật

**

Thiết lập Hermes

Hermes hiển thị một API server tương thích với OpenAI thông qua gateway của nó. Kích hoạt nó bằng cách thêm các giá trị này vào ~/.hermes/.env:

1API_SERVER_ENABLED="true"
2API_SERVER_HOST="127.0.0.1"
3API_SERVER_PORT="8642"
4API_SERVER_KEY="YOUR_RANDOM_HERMES_API_SERVER_KEY"
5API_SERVER_MODEL_NAME="hermes-agent"

Tạo một API key mạnh thay vì sử dụng placeholder. Sau đó cài đặt và khởi động Hermes gateway:

1hermes gateway install
2hermes gateway start

Xác minh API server cục bộ:

1curl -sS <http://127.0.0.1:8642/health>

Bạn sẽ thấy một cái gì đó như:

1{"status": "ok", "platform": "hermes-agent"}

**

Hiển thị Hermes với ngrok

Khởi động một tunnel đến Hermes API server:

1ngrok http 8642

ngrok sẽ cung cấp cho bạn một URL HTTPS công khai như:

1<https://your-ngrok-subdomain.ngrok-free.app>

Giữ cho ngrok chạy. ElevenLabs sẽ gọi Hermes thông qua URL này

Cấu hình ElevenLabs

Trong bảng điều khiển ElevenLabs Agent:

1. Tạo hoặc mở một ElevenLabs Conversational AI Agent.
2. Đi tới cài đặt LLM.
3. Chọn Custom LLM.

Chọn Custom LLM trong Bảng điều khiển

1. Đặt URL Custom LLM thành endpoint ngrok của bạn https://your-ngrok-subdomain.ngrok-free.app/v1

1. Cấu hình xác thực bằng Hermes API server key.

Cấu hình bằng Hermes endpoint

Sau khi được cấu hình, ElevenLabs sẽ định tuyến các lượt hội thoại đến Hermes. Hermes sẽ xử lý chúng như các tin nhắn agent thông thường, với quyền truy cập vào bất kỳ công cụ và kỹ năng nào mà nền tảng gateway/API-server của bạn cho phép.

Cấu hình ElevenLabs bằng Agent của bạn

Thay vì sử dụng bảng điều khiển, coding agent của bạn có thể thực hiện các yêu cầu API này cho bạn.

Bước 1: Tạo bí mật ElevenLabs

1curl -X POST <https://api.elevenlabs.io/v1/convai/secrets> \\\\
2  -H "xi-api-key: YOUR_ELEVENLABS_API_KEY" \\\\
3  -H "Content-Type: application/json" \\\\
4  -d '{
5    "type": "new",
6    "name": "hermes_gateway_token",
7    "value": "YOUR_RANDOM_HERMES_API_SERVER_KEY"
8  }'

Điều này trả về một phản hồi với secret_id:

1{
2  "type": "stored",
3  "secret_id": "abc123...",
4  "name": "hermes_gateway_token"
5}

Bước 2: Tạo ElevenLabs Agent

1curl -X POST <https://api.elevenlabs.io/v1/convai/agents/create> \\\\
2  -H "xi-api-key: YOUR_ELEVENLABS_API_KEY" \\\\
3  -H "Content-Type: application/json" \\\\
4  -d '{
5    "name": "Hermes Voice Agent",
6    "conversation_config": {
7      "agent": {
8        "language": "en",
9        "first_message": "Hello, how can I help?",
10        "prompt": {
11          "llm": "custom-llm",
12          "prompt": "You are Hermes Agent speaking through ElevenLabs in a live voice conversation. Be warm, conversational, and concise. Use Hermes tools when they are clearly needed, then summarize results naturally.",
13          "custom_llm": {
14            "url": "https://YOUR_NGROK_URL.ngrok-free.app/v1",
15            "api_type": "chat_completions",
16            "api_key": {
17              "secret_id": "RETURNED_SECRET_ID"
18            }
19          }
20        }
21      }
22    }
23  }'

Gắn một Số Điện thoại

Đây là lúc nó trở nên thú vị.

Nếu bạn đang sử dụng Twilio:

1. Mua một số điện thoại.
2. Sao chép Twilio Account SID và Auth Token của bạn.

Trong ElevenLabs:

1. Mở Conversational AI Agent của bạn.
2. Đi tới phần Phone.
3. Kết nối tài khoản Twilio của bạn, hoặc sử dụng một tùy chọn số điện thoại khác được hỗ trợ bởi tài khoản ElevenLabs của bạn.

Thêm số điện thoại Twilio

1. Gắn số điện thoại của bạn vào ElevenLabs agent.

Vậy là xong. Hermes Agent của bạn bây giờ có thể trả lời điện thoại.