Dokumentacja API

Bazowy URL i autoryzacja

Połącz się z https://api.tokenllm.cc/v1 używając unikalnego klucza API. Ten bazowy URL działa z dowolną standardową biblioteką OpenAI poprzez ustawienie base_url zmienną. Otrzymujesz jeden aktywny klucz na konto; wygenerowanie nowego klucza zastępuje poprzedni. Autentykacja opiera się na Authorization: Bearer <key> Nagłówek. Nie śledzimy Twoich promptów do szkolenia, a możesz zarejestrować się przez Google lub e-mail bez numeru telefonu. Błędy i odmowy zużywają zero tokenów, więc płacisz tylko za faktyczne wnioskowanie.

Endpoint Chat Completions

Wyślij tekst do POST /v1/chat/completions generowanie odpowiedzi. To endpoint obsługuje przepływy pracy typu tekst-wejście, tekst-wyjście z naszym modelem bez filtrów. Nie potrzebujesz embeddingów ani generowania obrazów do standardowych zadań czatu. ID modelu to zawsze "uncensored". Żądania są przetwarzane na naszych własnych serwerach, co zapewnia, że żaden zewnętrzny dostawca nie filtruje Twoich outputów. Zachowaj rozmiar payloadu poniżej 8 MB, aby uniknąć problemów z obcinaniem tekstu.

Parametry wymagane i opcjonalne

Dołącz prostą messages tablicę z historią rozmowy. Ustaw model to "uncensored" to ensure correct routing. You can adjust temperature do kreatywności lub top_p dla różnorodności. Użyj max_tokens ograniczenia wyjścia do 16 000 tokenów, lub domyślnie do 2048. Okno kontekstu obsługuje łącznie 100 000 tokenów dla promptu i uzupełnienia. Parametry opcjonalne takie jak seed i stop zapewniają Ci precyzyjną kontrolę nad generowaniem.

Odpowiedzi strumieniowe przez SSE

Włącz strumieniowanie, ustawiając stream: true w Twoim żądaniu. API zwraca zdarzenia wysyłane przez serwer (SSE) dla dostarczania tokenów w czasie rzeczywistym. Każda cząstka zawiera częściowy tekst, a ostatnia cząstka zawiera statystyki całkowitego użycia tokenów. To podejście zmniejsza postrzeganą latencję dla długich odpowiedzi. Możesz przetwarzać tokeny w miarę ich przybywania, co jest idealne dla interfejsów czatu. Strumieniowanie działa ze wszystkimi standardowymi parametrami.

Wywoływanie funkcji i tryb JSON

Zdefiniuj narzędzia w tools parametr możliwości wywoływania funkcji. Model może generować strukturalny JSON, gdy ustawisz response_format do {"type": "json_object"}. To zapewnia niezawodne parsowanie dla aplikacji downstream. Możesz określić tool_choice aby wymusić lub zezwolić na automatyczny wybór. Te funkcje działają w ramach tego samego modelu bez ograniczeń, więc nie potrzebujesz oddzielnego dostawcy wyjść strukturalnych.

Obsługa błędów i zużycie tokenów

Obsłuż błędy HTTP 401 dla nieprawidłowych kluczy i 429 dla limitów szybkości. Limit wynosi 300 żądań na minutę i 8 równoległych żądań na klucz. Jeśli otrzymasz błąd 402, Twoje prepaydowane środki zostały wyczerpane. Odrzucenia spowodowane filtrami treści (np. treść seksualna z udziałem małoletnich) nie obciążają tokenów. API nigdy nie wygasa Twoich środków, więc możesz doładować je w dowolnym momencie. Zawsze sprawdzaj treść odpowiedzi pod kątem szczegółowych komunikatów o błędach.

cURL

Copycurl https://api.tokenllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price of one llm token"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.tokenllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.tokenllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strumieniowanie

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)