Настройка LlamaIndex
Настройте LlamaIndex OpenAI LLM wrapper для работы с GonkaGate.
Подключите LlamaIndex OpenAI LLM wrapper к GonkaGate, указав api_base, API-ключ gp-... и актуальный model ID GonkaGate. Остальной LlamaIndex-пайплайн можно не менять.
Эта страница описывает только путь через OpenAI LLM wrapper. Embeddings и более широкую RAG-логику оставьте на текущем провайдере или локальной модели.
Настройте Settings.llm
Используйте Settings.llm, если один и тот же LLM через GonkaGate нужен в нескольких query- или index-сценариях.
from llama_index.core import Settings
from llama_index.llms.openai import OpenAI
Settings.llm = OpenAI(
model="qwen/qwen3-235b-a22b-instruct-2507-fp8",
api_key="gp-your-api-key",
api_base="https://api.gonkagate.com/v1",
)
response = Settings.llm.complete("Return exactly: LlamaIndex connected")
print(response)Ожидаемый результат: Settings.llm.complete(...) возвращает LlamaIndex connected.
Перед рабочим трафиком замените пример model ID на актуальное значение из GET /v1/models. Если у вас OpenAI(...) создаётся локально, примените там те же api_base, API-ключ и model ID.
Передайте тот же LLM в query-сценарий
Если у вас уже есть готовый индекс, передайте настроенный LLM в as_query_engine(), а не переписывайте весь пайплайн.
query_engine = index.as_query_engine(llm=Settings.llm)
response = query_engine.query("Summarize this document in one sentence.")
print(response)Меняйте только параметры подключения LLM
- Оставьте OpenAI LLM wrapper в LlamaIndex на месте.
- Меняйте только
api_base, API-ключ и model ID. - Используйте
Settings.llm, когда один и тот же LLM-конфиг нужен в нескольких сценариях. - Возвращайтесь к retrieval-слою и более широкой RAG-логике только после того, как базовое LLM-подключение заработало.
Частые ошибки
| Ответ или симптом | Что это обычно значит | Что делать |
|---|---|---|
401 invalid_api_key | API-ключ отсутствует, невалиден или загружается не из того места | Перепроверьте Аутентификацию и API-ключи |
404 model_not_found | ID модели устарел или не поддерживается | Обновите его через GET /v1/models |
429 insufficient_quota | Для запроса не хватает средств на предоплаченном USD-балансе | Пополните баланс и повторите запрос после появления доступных средств |
429 rate_limit_exceeded | Вы упёрлись в лимит запросов | Учитывайте Retry-After и добавьте bounded backoff |
| LLM-запросы работают, а embeddings падают | Эта страница покрывает только путь OpenAI LLM wrapper | Оставьте embeddings на текущем провайдере или локальной модели |
См. также
- Гайд по миграции с OpenAI на GonkaGate если вы переводите весь OpenAI-совместимый путь, а не только LlamaIndex wrapper
- Chat Completions API reference для точного контракта запроса и ответа, который использует LLM wrapper
- GonkaGate API Error Handling для правил retry и разбора ошибок после базового подключения
