Uncensored llm api документация для разработчиков

Настройка аутентификации базового URL

Используйте предоставленный базовый URL для всех запросов. Для аутентификации требуется ключ API, передаваемый в заголовке. Зарегистрируйтесь через Google или электронную почту, чтобы мгновенно получить ключ. Ключ идентифицирует вашу учетную запись для биллинга. Предоплаченный кредит в криптовалюте финансирует ваши запросы. Ошибки и отказы не расходуют кредит.

[[]]

[[]]

Пример POST /v1/chat/completions

Отправляйте сообщения в чат-эндпоинт. model id — "uncensored". Вы можете настроить такие параметры, как temperature. В ответе содержится сгенерированный текст. Используйте официальные SDK для более легкой интеграции. Измените базовый URL, чтобы указать на наш сервис. Заголовки должны включать ваш API-ключ. Тело запроса определяет историю разговора.

[[]]

[[]]

Потоковые ответы через SSE

Включите потоковую передачу, установив параметр stream. Вы получаете чанки текста по мере их генерации. Это снижает воспринимаемую задержку для длинных ответов. Правильно анализируйте формат Server-Sent Events. Использование токенов сообщается в последнем чанке. Этот метод хорошо работает для дисплеев в реальном времени. Он обеспечивает более плавный пользовательский опыт в целом.

[[]]

[[]]

Вызов функций и режим JSON

Определите инструменты для вызова моделью. Модель возвращает структурированные аргументы для этих инструментов. Вы также можете принудительно включить строгий вывод JSON. Установите формат ответа в json_object. Это обеспечивает предсказуемое разбирательство для вашего приложения. Комбинируйте инструменты с потоковой передачей для динамического поведения. Модель поддерживает как структурированные, так и разговорные выводы.

[[]]

[[]]

Параметры: temperature, top_p и stop

Управляйте случайностью с помощью temperature и top_p. Более высокие значения делают ответы более креативными. Более низкие значения делают их более детерминированными. Используйте параметр stop, чтобы остановить генерацию. Это помогает контролировать длину и формат ответа. Значения seed позволяют получить воспроизводимые результаты. Штрафы за присутствие и частоту корректируют повторение слов. Настройте эти параметры в соответствии с вашей задачей.

[[]]

[[]]

Лимиты, ошибки и контекстное окно

Окно контекста поддерживает до 100 000 токенов суммарно. Максимальный объем вывода — 16 000 токенов за запрос. Лимит частоты запросов позволяет делать 300 запросов в минуту. Одновременные запросы ограничены 8 на ключ. Ошибка 401 указывает на недействительный API-ключ. Ошибка 402 означает отсутствие средств. Ошибка 429 сигнализирует о превышении лимита частоты запросов. Тело запроса не должно превышать 8 МБ.

[[]]

[[]]

cURL

Copycurl https://api.uncensoredlocalllms.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Calculate the area of a circle with radius 5"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllms.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.uncensoredlocalllms.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Потоковая передача

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)