Перейти к содержимому

Локальная установка OmniRoute и проверка запуска

Редактировать страницу

Эта страница предназначена для начинающих пользователей HagiCode, которым нужен кратчайший путь установки OmniRoute: запустите локальную службу, убедитесь, что http://localhost:20128/v1 работает, и убедитесь, что и панель мониторинга, и API доступны.

  • Node.js уже установлен. Завершить Установка Node.js сначала, если нужно.
  • Местный порт 20128 свободен и еще не занят.
  • У вас есть по крайней мере одна учетная запись поставщика вышестоящей модели, которую вы планируете маршрутизировать через OmniRoute.
  • Перед интеграцией HagiCode, CLI или SDK разделите эти два адреса:
    • Панель управления: http://localhost:20128
    • Базовый URL-адрес, совместимый с OpenAI: http://localhost:20128/v1

Начните с рекомендуемого глобального пути npm:

Окно терминала
npm install -g omniroute
omniroute

После запуска службы проверьте ее в следующем порядке:

  1. Открыть http://localhost:20128 в браузере и убедитесь, что панель мониторинга загружается.
  2. Перейти к Endpoints на панели инструментов и создайте или скопируйте ключ API.
  3. Запишите базовый URL-адрес, который вы передадите инструментам позже: http://localhost:20128/v1.

Проверка 1: убедитесь, что каталог моделей доступен для чтения.

Заголовок раздела «Проверка 1: убедитесь, что каталог моделей доступен для чтения.»

Положите ключ от Endpoints страницу в переменную среды:

Окно терминала
export OMNIROUTE_API_KEY="replace-with-the-key-you-copied-from-the-Endpoints-page"

Затем запросите /v1/models:

Окно терминала
curl http://localhost:20128/v1/models \
-H "Authorization: Bearer ${OMNIROUTE_API_KEY}"

Если вы получите обратно список моделей, значит, конечная точка, совместимая с OpenAI, и поток аутентификации работают.

Проверка 2: отправьте минимальный запрос в чат.

Заголовок раздела «Проверка 2: отправьте минимальный запрос в чат.»
Окно терминала
curl http://localhost:20128/v1/chat/completions \
-H "Authorization: Bearer ${OMNIROUTE_API_KEY}" \
-H "Content-Type: application/json" \
-d '{
"model": "replace-with-a-model-id-from-v1-models",
"messages": [
{ "role": "user", "content": "Reply with ok." }
]
}'

Целью здесь не является быстрое качество. Это значит, что выбранная вами модель уже может быть успешно маршрутизирована через OmniRoute.