Все сервисы
Вход · Роутер

Весь ИИ вашей компании входит через одну дверь. И он выбирает самое дешевое решение, которое справляется.

Один ключ, весь каталог моделей. Каждый запрос оценивается до отправки: можно ответить из кеша, в бесплатной модели или по подписке, которую компания уже оплачивает? Дорогой API это последний вариант, а панель показывает, сколько денег благодаря этому не ушло из кассы.

ОДИН КЛЮЧ ДЛЯOpenAIAnthropicGoogle+8 провайдеров
ПОСТУПАЕТ ЗАПРОС

"Сделай краткое содержание этого письма в трех строках."

Кешна этот же вопрос уже отвечали раньше
Бесплатная модельодиннадцать провайдеров без платы за запрос
Подписка, которую вы уже оплачиваетеаккаунт, который уже есть у компании, используется до лимита
Платный APIпоследний вариант, когда задача действительно этого требует
СЭКОНОМЛЕНО НА ЭТОМ ЗАПРОСЕUS$ 0,004что было бы потрачено при прямом обращении к платному API

Пример маршрутизации. В вашей панели указана реальная сумма, накопленная за период, а локальный уровень не отображается, потому что это оборудование владельца appliance, а не клиента.

Никто не выбирает модель для каждого запроса. Выбирает система.

Счет за ИИ не взрывается из-за одного дорогого запроса, он взрывается, потому что тысяча дешевых запросов пошла в самую дорогую настроенную модель. Роутер оценивает каждый запрос до отправки и использует самый дешевый уровень, который справляется.

Что происходит сегодня

Три счета за ИИ, и ни один не знает, сколько потратил другой.

01

Каждый отдел открыл свой

У маркетинга одна подписка, у разработчика ключ API, кто-то оплатил еще одну картой. Никто не может сказать, сколько компания тратит на ИИ в месяц.

02

Дорогая модель отвечает на дешевый вопрос

Настроенный ключ обслуживает все. Краткое содержание письма и разработка стратегии идут по одному пути и стоят одинаково.

03

Когда провайдер падает, операция падает вместе с ним

Один ключ, один поставщик, одна точка отказа. Его нестабильность становится вашей проблемой, и настроенного плана Б нет.

Что вы начинаете видеть

Счет за ИИ всей компании на одном экране.

Каждый вызов, проходящий через вход, записывается: кто запросил, какой уровень решил задачу, сколько это стоило и сколько стоило бы иначе. Так фраза "мы много тратим на ИИ" превращается в фразу с числом.

app.rovemark.co / роутер Работающий продукт
Официальный экран продукта Роутер с демонстрационной компанией Northstar Labs
ПРИМЕР СНИМКА
0%
Сэкономленные расходы
0%
Доступность
0
Доступные модели
0
Использующие отделы

Сэкономленные расходы

Сколько компания не потратила, потому что запрос был решен на более дешевом уровне. Эта метрика сама по себе обосновывает модуль.

Это число, которое вы берете на встречу по затратам

Доступность

Если один провайдер падает, трафик переключается на следующего без чьего-либо пробуждения. Вы не наследуете простой ни одного поставщика.

Падение другого перестает быть вашим

Доступные модели

Весь каталог за одним ключом, с одинаковым форматом вызова. Смена модели перестает быть проектом миграции.

Тестирование новой модели стоит одной строки

Использующие отделы

Кто что использовал, по отделу и проекту, с лимитом на ключ, чтобы никто случайно не исчерпал баланс.

Можно дать доступ, не выдавая карт-бланш
Внутри

Как он принимает решение, в четыре вопроса.

Решение принимается до отправки запроса, и порядок никогда не меняется: сначала используется бесплатное, а платные варианты подключаются, только когда верхние не справляются.

01

Это уже спрашивали?

Идентичный запрос с сохранённым ответом возвращается из кэша. Стоит ноль и приходит мгновенно: этот слой больше всего экономит при повторяющихся операциях.

решает задачу, не покидая вашу инфраструктуру
02

Бесплатная модель справится?

Большой части рутинной работы не нужна передовая модель: резюмирование, классификация, извлечение. Если справляется бесплатная, отвечает она.

сюда попадает большая часть объёма
03

Это входит в подписку, за которую вы уже платите?

У компании уже есть аккаунты ИИ. Они входят в пул и используются до лимита, прежде чем будет потрачен хоть один новый цент.

вы начинаете использовать то, за что уже платили
04

Только потом: платный API.

Когда задача действительно требует дорогой модели, она вызывается, а панель фиксирует, что расход был необходим, а не следствием недосмотра.

дорогое становится обоснованным исключением
Чтобы разобраться

Четыре сравнения, которые это решают.

Прямой ключ работает, сторонний gateway работает, и разработчик, который за этим следит, тоже работает. Вопрос в том, сколько стоит каждый вариант, когда растёт объём.

Прямой ключ у провайдераЧерез единую точку
Стоимость запросаВсегда цена настроенной модели Самое недорогое решение, которое справится с запросом
Если провайдер недоступенВаша работа останавливается вместе с ним Самостоятельно переключается на следующий
Сменить модельИзменить код и снова протестировать Одна строка конфигурации
От нуля до первого снимка

Три шага. Первый вызов за минуты.

011 МИНУТА

Создайте ключ

Один ключ Rovemark заменяет ключи провайдеров. При создании вы сразу задаёте для него лимит расходов.

025 МИНУТ

Смените адрес

Gateway принимает формат, который уже использует ваш код. На практике нужно изменить базовый URL и ключ: остальной код остаётся прежним.

03В ТОТ ЖЕ ДЕНЬ

Посмотрите на предотвращённые расходы

С первого вызова панель показывает, какой слой обработал каждый запрос и сколько не было потрачено.

Подключить Роутер бесплатно
Внутри компании

Одна точка, три разных облегчения.

Финансы

Появляется число для вопроса «сколько мы тратим на ИИ?» и лимит для каждого ключа, чтобы расходы не зависели от здравого смысла.

Технологии

Больше не нужно поддерживать интеграцию с каждым провайдером и просыпаться, когда один из них недоступен. Один endpoint, переключение автоматическое.

Те, кто пользуется каждый день

Не выбирают модель, не думают о цене, не просят ключ у кого-либо. Запрашивают нужное и получают.

Что выходит отсюда, конкретно

01
Выписка за месяц

Расходы и предотвращённые расходы по отделу, проекту и периоду.

02
Ключи с лимитом

По одному для человека или проекта, с возможностью отзыва и собственным лимитом.

03
История каждого вызова

Какой слой обработал, сколько стоило, сколько стоило бы.

Куда приходит уведомление

Когда ключ превышает лимит или провайдер начинает давать сбои, уведомление приходит туда, где команда уже работает.

SlackЭлектронная почтаWhatsApp
Посмотреть Connect
Сколько это стоит

Вы платите за модель. Единая точка не берёт комиссию.

Роутер не добавляет наценку за вызов: использованный кредит равен стоимости ответившей модели. Когда отвечает кэш, бесплатная модель или ваша собственная подписка, кредиты не расходуются.

Обработано в кэшеВопрос, на который уже был сохранён ответ.
0 кредиты
Обработано бесплатной моделью или вашей подпискойБольшая часть рутинного объёма попадает сюда.
0 кредиты
Решено в платном APIТолько когда задача требует дорогой модели.
custo кредиты

Бесплатный план уже включает Роутер с моделями без платы за вызов. Можно провести через него всю рутинную работу, не тратя кредиты, и видеть в панели, во сколько это обошлось бы отдельно.

Посмотреть все планы
Прежде чем вы спросите

Что обычно хотят узнать.

Нужно переписывать мой код?

Нет. Шлюз принимает формат, который уже использует большинство библиотек, поэтому на практике вы меняете базовый URL и ключ. То, что вызывало провайдера напрямую, начинает обращаться к шлюзу, а маршрутизация происходит на другой стороне.

А если маршрутизация выберет модель хуже?

Выбор идёт по возможностям, а не случайно: у каждого типа задачи есть минимальный уровень качества, и модель участвует, только если ему соответствует. Вы также можете закрепить конкретную модель для маршрута, когда захотите: экономия является стандартом, а не обязанностью.

Можно использовать мои текущие подписки?

В этом и суть. Учётные записи, за которые компания уже платит, попадают в общий пул и используются до лимита до любых новых расходов: многие здесь обнаруживают, что платили дважды за одну и ту же возможность.

Что происходит, если шлюз недоступен?

Он корректно деградирует: возвращает явный ответ о недоступности вместо зависания, а ваш код обрабатывает это так же, как сбой любого провайдера. Ничто не остаётся в ожидании.

Вы храните содержимое моих запросов?

Хранится только ваше, зашифрованное вашим ключом, и это нужно для кеша и истории, которую вы сами просматриваете. Всё можно выгрузить целиком в любой день, и это не станет обучающими данными ни для чьей модели.

ДРУГИЕ ОРГАНЫ

Шлюз обслуживает остальные модули.

Каждый запрос из всех модулей проходит здесь, поэтому экономия Роутер видна в счёте всей системы, а не только у тех, кто вызывает API вручную.

Команды Rovemark работают вместе
ДРУГИЕ ОРГАНЫ

Ни один модуль не работает в одиночку.

Каждый решает своё направление, и все пишут в одну память. Посмотрите остальные и как они связаны с этим.

Начать бесплатно