Dokumentace API Uncensored llm pro vývojáře

Nastavení základní URL a ověření

Použijte poskytnutou základní URL pro všechny požadavky. Pro ověření identity je vyžadován klíč API zaslaný v hlavičce. Zaregistrujte se přes Google nebo e-mail a získejte klíč okamžitě. Klíč identifikuje váš účet pro zúčtování spotřeby. Předplacený kredit v kryptoměnách financuje vaše požadavky. Chyby a odmítnutí nespotřebovávají kredit.

[[]]

[[]]

Příklad POST /v1/chat/completions

Pošlete zprávy na chat endpoint. ID modelu je „uncensored“. Parametry jako teplota můžete upravit. Odpověď obsahuje vygenerovaný text. Pro snazší integraci použijte oficiální SDK. Změňte základní URL tak, aby ukazovala na naši službu. Hlavičky musí obsahovat váš API klíč. Tělo požadavku definuje historii konverzace.

[[]]

[[]]

Streamované odpovědi přes SSE

Povolte streamování nastavením parametru stream. Dostáváte bloky textu, jak jsou generovány. To snižuje vnímanou latenci pro dlouhé odpovědi. Správně analyzujte formát Server-Sent Events. Využití tokenů je hlášeno v posledním bloku. Tato metoda dobře funguje pro zobrazení v reálném čase. Celkově poskytuje plynulejší uživatelský zážitek.

[[]]

[[]]

Volání funkcí a režim JSON

Definujte nástroje, které může model volat. Model vrací strukturované argumenty pro tyto nástroje. Můžete také vynutit přísný výstup JSON. Nastavte formát odpovědi na json_object. To zajišťuje předvídatelné parsování pro vaši aplikaci. Kombinujte nástroje se streamováním pro dynamické chování. Model podporuje jak strukturované, tak konverzační výstupy.

[[]]

[[]]

Parametry: Teplota, top_p a stop

Ovládejte náhodnost pomocí temperature a top_p. Vyšší hodnoty činí odpovědi více kreativními. Nižší hodnoty činí odpovědi více deterministickými. Použijte parametr stop k zastavení generování. To pomáhá kontrolovat délku a formát odpovědi. Hodnoty seed umožňují reprodukovatelné výsledky. Penalties pro presence a frequency upravují opakování slov. Upravte tato nastavení tak, aby odpovídala vašemu případu použití.

[[]]

[[]]

Limity, chyby a kontextové okno

Okno kontextu podporuje celkem 100 000 tokenů. Maximální výstup je 16 000 tokenů na požadavek. Limity rychlosti umožňují 300 požadavků za minutu. Souběžné požadavky jsou omezeny na osm na klíč. Chyba 401 indikuje neplatný API klíč. Chyba 402 znamená, že nemáte kredit. Chyba 429 signalizuje, že jste omezeni rychlostí. Těla požadavků nesmí překročit 8 MB.

[[]]

[[]]

cURL

Copycurl https://api.uncensoredlocalllms.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Calculate the area of a circle with radius 5"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllms.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.uncensoredlocalllms.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)