Dokumentacja API LLM bez ograniczeń dla programistów

Konfiguracja autoryzacji bazowego URL

Użyj podanego adresu URL bazowego dla wszystkich żądań. Autoryzacja wymaga klucza API wysłanego w nagłówku. Zarejestruj się przez Google lub e-mail, aby natychmiast uzyskać klucz. Klucz identyfikuje Twoje konto do rozliczeń za użytkowanie. Kredyt kryptowalutowy w systemie prepaid finansuje Twoje żądania. Błędy i odrzucenia nie zużywają kredytu.

[[]]

[[]]

Przykład POST /v1/chat/completions

Wyślij wiadomości do punktu końcowego czatu. Identyfikator modelu to "uncensored". Możesz dostosować parametry takie jak temperatura. Odpowiedź zawiera wygenerowany tekst. Użyj oficjalnych SDK, aby ułatwić integrację. Zmień URL bazowy, aby wskazywał na naszą usługę. Nagłówki muszą zawierać Twój klucz API. Ciało żądania definiuje historię rozmowy.

[[]]

[[]]

Odpowiedzi strumieniowe poprzez SSE

Włącz strumieniowanie, ustawiając parametr stream. Otrzymujesz fragmenty tekstu w miarę ich generowania. Redukuje to postrzeganą opóźnienie dla długich odpowiedzi. Poprawnie przeanalizuj format Server-Sent Events. Zużycie tokenów jest raportowane w ostatnim fragmencie. Ta metoda dobrze działa dla wyświetleń w czasie rzeczywistym. Zapewnia płynniejsze doświadczenie użytkownika ogólnie.

[[]]

[[]]

Wywoływanie funkcji i tryb JSON

Zdefiniuj narzędzia do wywołania przez model. Model zwraca strukturalne argumenty dla tych narzędzi. Możesz również wymusić ścisły output JSON. Ustaw format odpowiedzi na json_object. To zapewnia przewidywalne parsowanie dla Twojej aplikacji. Połącz narzędzia ze strumieniowaniem dla dynamicznego zachowania. Model obsługuje zarówno dane strukturalne, jak i konwersacyjne.

[[]]

[[]]

Parametry: temperatura, top_p i stop

Kontroluj losowość za pomocą temperature i top_p. Wyższe wartości sprawiają, że odpowiedzi są bardziej kreatywne. Niższe wartości sprawiają, że są bardziej deterministyczne. Użyj parametru stop, aby zatrzymać generowanie. Pomaga to kontrolować długość i format odpowiedzi. Wartości seed pozwalają na powtarzalność wyników. Penalizacje obecności i częstotliwości dostosowują powtarzalność słów. Dostosuj te ustawienia, aby pasowały do Twojego przypadku użycia.

[[]]

[[]]

Limity, błędy i okno kontekstu

Okno kontekstowe obsługuje łącznie 100 000 tokenów. Maksymalna długość odpowiedzi to 16 000 tokenów na żądanie. Limity szybkości pozwalają na 300 żądań na minutę. Żądania równoczesne są ograniczone do ośmiu na klucz. Błąd 401 oznacza nieprawidłowy klucz API. Błąd 402 oznacza brak środków. Błąd 429 oznacza przekroczenie limitu szybkości. Rozmiary ciał żądań nie mogą przekraczać 8 MB.

[[]]

[[]]

cURL

Copycurl https://api.uncensoredlocalllms.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Calculate the area of a circle with radius 5"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredlocalllms.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.uncensoredlocalllms.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)