Перейти к основному содержимому

Как это работает

Как GonkaGate маршрутизирует запросы в Gonka Network

Архитектура роутинга и сигналы здоровья, которые влияют на выбор ноды в Gonka Network — от клиента до ответа

  • Роутинг + фолбэк — одно решение
  • Сигналы — доступность + задержка
  • Видимость — usage в dashboard
Получить API ключОбзор Gonka API

Получите ключ, чтобы проверить роутинг вживую. Полное описание поверхности и совместимости — в обзоре Gonka API

Подробная поверхность API находится на странице Gonka API

Снимок роутинга

Гарантии роутинга с первого взгляда

Ключевые исходы, на которые можно рассчитывать в каждом запросе

Главная цель
Быстрый первый байт
Повторы
До x3 попыток на запрос
Сигнал смены
Нет данных за 10 s
Видимость
Usage в dashboard после завершения

Для кого

Команды, которым важна предсказуемость
Стабильный стриминг и ограниченные ретраи
  • API-команды — Стабильный стриминг, ограниченные ретраи
  • Продакт-лиды — Ниже воспринимаемая задержка, выше надежность
  • No-code builders — Предсказуемость без настройки роутинга

Проверка доступа

Проверяем статус API ключа и доступ аккаунта

Выбор маршрута

Выбираем лучшую ноду для выбранной модели

Обработка фолбэков

Перемаршрутизация при проблемах емкости или здоровья

Логирование usage

Собираем usage, задержку и метаданные токенов для dashboard

Доставка ответа

Возвращаем OpenAI-совместимый ответ

Поток запроса

Клиент
Шлюз
Маршрутизатор
Сеть
Ответ

Решения роутинга используют сигналы доступности и задержки

Почему это быстро

Умный роутинг по каждой модели
Скорим маршруты по модели и выбираем самый быстрый. Надежность остается высокой в нестабильной сети
Пул
Отдельный пул маршрутов по модели
Скоринг
Недавние успехи + задержка
Защита
Нестабильные маршруты временно исключаются
Результат
Быстрый и надежный маршрут сейчас

Защитные правила

Скорость с безопасным восстановлением
Если первый байт задерживается, мы быстро переключаемся и ограничиваем число попыток
Таймаут первого байта

Если данных нет за 10 s, останавливаем и меняем маршрут

  • Попытка 1 — нет данных за 10 s, стоп
  • Попытка 2 — первый байт, продолжаем стриминг
Политика ретраев

До x3 попыток, каждый раз новый маршрут

  • Ретрай — таймаут или 429 (rate limit)
  • Изоляция — каждая попытка использует новый маршрут
Жизненный цикл маршрута

Новые маршруты проходят прогрев; повторные ошибки уходят в карантин

Новый — Прогрев — В работеВ работе — Ошибка/медленно x3 — Карантин, 5 m backoffВозврат — В работе

Операционные правила

  • Медленный первый байт — слабый сигнал, ошибки — сильные
  • Без повтора — маршрут не повторяется в одном запросе
  • Фолбэк — если здоровых маршрутов нет, используем кэш эндпойнтов без карантина