Hướng dẫn tích hợp điểm cuối không kiểm duyệt

Base URL và xác thực

Bắt đầu bằng cách trỏ khách hàng tương thích OpenAI của bạn vào điểm cuối của chúng tôi. Thay thế URL cơ sở tiêu chuẩn bằng https://api.llmgatewayopensource.com/v1 và thay khóa API của bạn vào tiêu đề xác thực. Thay đổi đơn lẻ này chuyển hướng lưu lượng truy cập đến mô hình không kiểm duyệt của chúng tôi mà không làm thay đổi logic ứng dụng của bạn. Bạn tạo khóa thông qua Google hoặc email trên bảng điều khiển. Mỗi tài khoản giữ một khóa hoạt động duy nhất thay thế khóa trước đó ngay lập tức. Không cần tệp cấu hình hoặc lớp định tuyến phức tạp.

Thực hiện yêu cầu đầu tiên

Gửi một tải trọng hoàn tất hội thoại tiêu chuẩn để kiểm tra kết nối ngay lập tức. Endpoint chấp nhận đầu vào văn bản và trả về văn bản được tạo mà không từ chối nội dung đối với mục đích người lớn hợp pháp. Bạn có thể xác minh phản hồi bằng cách kiểm tra trường văn bản được tạo. Lỗi như khóa không hợp lệ trả về 401, trong khi không đủ tín dụng trả về 402. Sử dụng lệnh đơn giản này để xác nhận thiết lập của bạn hoạt động trước khi tích hợp nó vào quy trình làm việc chính của bạn.

Copycurl https://api.llmgatewayopensource.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Fix the syntax error in this Python loop."}]
  }'

Sử dụng SDK Python

Cài đặt thư viện chính thức và khởi tạo nó với URL cơ sở của chúng tôi và khóa của bạn. Cách tiếp cận này cho phép bạn tái sử dụng các mẫu mã quen thuộc trong khi truy cập mô hình không kiểm duyệt. Máy khách xử lý tuần tự hóa và phát trực tuyến một cách tự động. Bạn có thể đặt các tham số như temperature hoặc top_p để kiểm soát sự sáng tạo. Phương pháp này lý tưởng cho các dịch vụ backend hoặc các tập lệnh cần tạo văn bản đáng tin cậy. Truyền ID mô hình uncensored để đảm bảo bạn truy cập đúng điểm cuối.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmgatewayopensource.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Tích hợp với Node.js

Khởi tạo client bằng URL cơ sở và khóa API của bạn trong môi trường Node. Cấu hình này hỗ trợ cả phản hồi JSON tiêu chuẩn và các sự kiện streaming. Bạn có thể truyền các lời nhắc hệ thống hoặc tin nhắn của người dùng giống như khi sử dụng các nhà cung cấp khác. Thư viện quản lý vòng đời kết nối một cách hiệu quả. Đây là phương pháp được ưu tiên cho các máy chủ web hoặc hàm serverless cần tạo văn bản theo yêu cầu. Đảm bảo mã của bạn xử lý đúng đối tượng phản hồi để trích xuất nội dung.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmgatewayopensource.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phản hồi dạng stream với SSE

Bật chế độ phát trực tiếp bằng cách đặt tham số stream thành true trong yêu cầu của bạn. Máy chủ gửi các chunk văn bản khi chúng được tạo, cho phép giảm độ trễ cảm nhận. Mỗi chunk bao gồm dữ liệu sử dụng token trong phần cuối cùng. Tính năng này rất quan trọng cho các giao diện người dùng hiển thị văn bản theo từng phần. Bạn có thể phân tích luồng sự kiện gửi qua máy chủ để cập nhật giao diện người dùng theo thời gian thực. Nó giảm đáng kể thời gian chờ cho các đầu ra dài.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Giới hạn, lỗi và ngữ cảnh

API của chúng tôi áp dụng các giới hạn nghiêm ngặt nhưng công bằng để đảm bảo tính ổn định. Bạn được phép 300 yêu cầu mỗi phút và độ đồng thời là 8 yêu cầu cùng lúc mỗi khóa. Cửa sổ ngữ cảnh hỗ trợ 100.000 token cho cả prompt và kết hợp hoàn thành. Đầu ra tối đa mỗi yêu cầu là 16.000 token trừ khi bạn chỉ định giới hạn thấp hơn. Các lỗi bao gồm 401 cho khóa sai, 402 cho số dư thấp và 429 cho giới hạn tốc độ. Thân yêu cầu phải dưới 8 MB. Các ràng buộc này minh bạch và nhất quán.