Локальная установка OmniRoute и проверка запуска
Редактировать страницуЭта страница предназначена для начинающих пользователей HagiCode, которым нужен кратчайший путь установки OmniRoute: запустите локальную службу, убедитесь, что http://localhost:20128/v1 работает, и убедитесь, что и панель мониторинга, и API доступны.
Предварительные условия
Заголовок раздела «Предварительные условия»- Node.js уже установлен. Завершить Установка Node.js сначала, если нужно.
- Местный порт
20128свободен и еще не занят. - У вас есть по крайней мере одна учетная запись поставщика вышестоящей модели, которую вы планируете маршрутизировать через OmniRoute.
- Перед интеграцией HagiCode, CLI или SDK разделите эти два адреса:
- Панель управления:
http://localhost:20128 - Базовый URL-адрес, совместимый с OpenAI:
http://localhost:20128/v1
- Панель управления:
Установить и запустить локально
Заголовок раздела «Установить и запустить локально»Начните с рекомендуемого глобального пути npm:
npm install -g omnirouteomnirouteПосле запуска службы проверьте ее в следующем порядке:
- Открыть
http://localhost:20128в браузере и убедитесь, что панель мониторинга загружается. - Перейти к
Endpointsна панели инструментов и создайте или скопируйте ключ API. - Запишите базовый URL-адрес, который вы передадите инструментам позже:
http://localhost:20128/v1.
Проверка работающей службы
Заголовок раздела «Проверка работающей службы»Проверка 1: убедитесь, что каталог моделей доступен для чтения.
Заголовок раздела «Проверка 1: убедитесь, что каталог моделей доступен для чтения.»Положите ключ от Endpoints страницу в переменную среды:
export OMNIROUTE_API_KEY="replace-with-the-key-you-copied-from-the-Endpoints-page"Затем запросите /v1/models:
curl http://localhost:20128/v1/models \ -H "Authorization: Bearer ${OMNIROUTE_API_KEY}"Если вы получите обратно список моделей, значит, конечная точка, совместимая с OpenAI, и поток аутентификации работают.
Проверка 2: отправьте минимальный запрос в чат.
Заголовок раздела «Проверка 2: отправьте минимальный запрос в чат.»curl http://localhost:20128/v1/chat/completions \ -H "Authorization: Bearer ${OMNIROUTE_API_KEY}" \ -H "Content-Type: application/json" \ -d '{ "model": "replace-with-a-model-id-from-v1-models", "messages": [ { "role": "user", "content": "Reply with ok." } ] }'Целью здесь не является быстрое качество. Это значит, что выбранная вами модель уже может быть успешно маршрутизирована через OmniRoute.