Uncensored llm api документація для розробників

Налаштування аутентифікації базової URL-адреси

Використовуйте надану базову URL-адресу для всіх запитів. Для автентифікації потрібен ключ API, який передається в заголовку. Зареєструйтеся через Google або електронну пошту, щоб миттєво отримати ключ. Ключ ідентифікує ваш обліковий запис для обліку використання. Попередньо оплачений кредит у криптовалюті фінансує ваші запити. Помилки та відмови не споживають кредит.

[[]]

[[]]

Приклад POST /v1/chat/completions

Надсилайте повідомлення на ендпоінт чату. Ідентифікатор моделі — "uncensored". Ви можете налаштувати такі параметри, як temperature. У відповіді міститься згенерований текст. Використовуйте офіційні SDK для спрощеної інтеграції. Змініть базовий URL, щоб вказати на наш сервіс. Заголовки мають містити ваш API-ключ. Тіло запиту визначає історію розмови.

[[]]

[[]]

Потокові відповіді через SSE

Увімкніть потокову передачу, встановивши параметр stream. Ви отримуєте чанки тексту по мірі їх генерації. Це знижує сприйняту затримку для довгих відповідей. Правильно аналізуйте формат Server-Sent Events. Використання токенів повідомляється в останньому чанку. Цей метод добре працює для відображень у реальному часі. Він забезпечує більш плавний користувацький досвід загалом.

[[]]

[[]]

Виклик функцій та режим JSON

Визначте інструменти для виклику моделлю. Модель повертає структуровані аргументи для цих інструментів. Ви також можете примусово використовувати суворий вивід JSON. Встановіть формат відповіді на json_object. Це забезпечує передбачуване парсингу для вашої програми. Поєднуйте інструменти з потоковим передаванням для динамічної поведінки. Модель підтримує як структурований, так і розмовний вивід.

[[]]

[[]]

Параметри: temperature, top_p та стоп

Керуйте випадковістю за допомогою temperature та top_p. Вищі значення роблять відповіді більш креативними. Нижчі значення роблять їх більш детермінованими. Використовуйте параметр stop, щоб зупинити генерацію. Це допомагає контролювати довжину та формат відповіді. Значення seed дозволяють отримувати відтворювані результати. Штрафи за наявність та частоту регулюють повторення слів. Налаштуйте ці параметри відповідно до вашого випадку використання.

[[]]

[[]]

Ліміти, помилки та контекстне вікно

Вікно контексту підтримує загальну кількість 100 000 токенів. Максимальний обсяг виводу становить 16 000 токенів за запит. Ліміти швидкості дозволяють 300 запитів на хвилину. Паралельні запити обмежені вісьмома на ключ. Помилка 401 вказує на недійсний API-ключ. Помилка 402 означає відсутність коштів. Помилка 429 сигналізує про перевищення ліміту швидкості. Розмір тіла запиту не повинен перевищувати 8 МБ.

[[]]

[[]]

cURL

Copycurl https://api.uncensoredlocalllms.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Calculate the area of a circle with radius 5"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllms.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.uncensoredlocalllms.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потокова передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)