Uncensored llm api -dokumentaatio kehittäjille

Perus-URL:n todennusmääritys

Käytä annettua perus-URL-osoitetta kaikkiin pyyntöihin. Todennus vaatii API-avaimen lähettämisen otsakkeessa. Rekisteröidy Google-tilillä tai sähköpostilla saadaksesi avaimesi välittömästi. Avain tunnistaa tilisi käytön laskutusta varten. Esimaksullinen krypto-velka rahoittaa pyyntöjäsi. Virheet ja hylkäykset eivät kuluta velkaa.

[[]]

[[]]

POST /v1/chat/completions esimerkki

Lähetä viestit chat-päätepisteeseen. Mallin tunnus on "uncensored". Voit säätää parametreja kuten temperaturea. Vastaus sisältää generoidun tekstin. Käytä virallisia SDK-kirjastoja helpomman integraation varmistamiseksi. Muuta base URL -arvo osoittamaan palveluumme. Otsikoiden on sisällettävä API-avaimesi. Pyyntörunko määrittelee keskusteluhistorian.

[[]]

[[]]

Streamausvastaukset SSE:n kautta

Ota suoratoisto käyttöön asettamalla stream-parametri. Saat tekstipalstoja niiden syntyessä. Tämä vähentää kokemaa viiveettä pitkissä vastauksissa. Jäsentele Server-Sent Events -muoto oikein. Tokenkäyttö ilmoitetaan viimeisessä palstassa. Tämä menetelmä toimii hyvin reaaliaikaisissa näyttöissä. Se tarjoaa sujuvamman käyttäjäkokemuksen kokonaisuudessaan.

[[]]

[[]]

Function calling ja JSON-tila

Määritä työkalut mallin kutsumista varten. Malli palauttaa rakenteisia argumentteja näille työkaluille. Voit myös pakottaa tiukan JSON-tulosteen. Aseta vastausmuoto muotoon json_object. Tämä varmistaa ennustettavan jäsentämisen sovelluksellesi. Yhdistä työkalut streamaukseen dynaamisen käyttäytymisen luomiseksi. Malli tukee sekä rakenteisia että keskustelunomaisia tulosteita.

[[]]

[[]]

Parametrit: lämpötila, top_p ja pysäytys

Säädä satunnaisuutta lämpötilan ja top_p:n avulla. Korkeammat arvot tekevät vastauksista luovempia. Matalammat arvot tekevät niistä deterministisempia. Käytä stop-parametria keskeyttämään tuotanto. Tämä auttaa hallitsemaan vastauksen pituutta ja muotoa. Seed-arvot mahdollistavat toistettavat tulokset. Presence- ja frequency-penaltyt säätävät sanatoistoa. Säädä näitä asetuksia käyttötarkoituksesi mukaan.

[[]]

[[]]

Rajoitukset, virheet ja kontekstiikkuna

Konteksti-ikkuna tukee yhteensä 100 000 tokenia. Maksimituloste on 16 000 tokenia pyyntöä kohti. Nopeusrajoitus sallii 300 pyyntöä minuutissa. Samanaikaisia pyyntöjä on rajoitettu kahdeksaan avainta kohti. Virhekoodi 401 viittaa virheelliseen API-avaimeen. Virhekoodi 402 tarkoittaa, että sinulla ei ole saldoa. Virhekoodi 429 ilmoittaa nopeusrajoituksesta. Pyyntöjen rungon koko ei saa ylittää 8 Mt:a.

[[]]

[[]]

cURL

Copycurl https://api.uncensoredlocalllms.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Calculate the area of a circle with radius 5"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllms.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.uncensoredlocalllms.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Virtaus

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)