Нейросети

Как выбрать API для ИИ-моделей и оценить расходы

Через API сайт или бот отправляет задание ИИ-модели и получает ответ прямо в приложении. Например, интернет-магазин может определять тему обращения и передавать его нужному сотруднику. Чтобы выбрать сервис, полезно заранее знать, какие данные получит модель, в каком виде нужен ответ и сколько обращений приходит за месяц.

Графический ускоритель с радиатором и медными тепловыми трубками
Содержание руководства

Когда приложению нужен доступ к ИИ через API

На вопрос «Где мой заказ?» почтовой системе достаточно получить метку «доставка», чтобы направить письмо в нужный отдел. Если покупатель задал тот же вопрос в чате и ждёт ответа, боту понадобится статус заказа из системы магазина. Даже хорошая языковая модель сама по себе его не узнает.

Если сообщения разбирает сам сотрудник, он может скопировать письмо и сравнить ответы нескольких нейросетей в одном чате . API имеет смысл, когда обращение должно попадать в обработку сразу из почты, формы заказа или бота.

Какую модель выбрать для сайта или бота

ЗадачаЧто проверить в описании моделиКак оценить ответ
Распределять заявки между отделами Поддерживает ли API ответ в заданном формате Для однозначной заявки модель возвращает метку отдела, для спорной — метку «на разбор»
Отвечать по инструкции магазина Сколько токенов помещается в запрос вместе с инструкцией, историей и ответом Находит подходящий пункт и сообщает, когда в инструкции нет ответа
Разбирать обращения с фото Принимает ли эта версия модели изображения через API и как они тарифицируются Отличает видимое повреждение от блика и просит новый снимок, если детали не разобрать

Для сравнения возьмите обезличенные обращения, по которым уже известно верное решение. Включите хотя бы одно письмо с двумя темами и один вопрос, на который у магазина пока нет ответа. Тогда видно, какую долю заявок модель обработает сама, а где сотрудник всё равно потратит время на проверку.

Как посчитать стоимость тысячи обращений

У текстовой модели обычно две ставки. Входные токены — части текста, который приложение передаёт модели. Сюда входят и инструкция, и история переписки, если приложение отправляет их с каждым сообщением. Выходные токены модель расходует на ответ.

Допустим, за месяц приходит 1 000 обращений. В среднем на каждое приходится 600 входных и 100 выходных токенов. За месяц получится 600 000 токенов на входе и 100 000 на выходе. Если цены в каталоге указаны за миллион токенов, месячный расход в рублях = 0,6 × ставка за вход + 0,1 × ставка за выход. Подставьте в эту формулу цены двух подходящих моделей и сравните итог в рублях.

Если каждое десятое обращение придётся отправить ещё раз целиком, при той же длине понадобится уже 660 000 входных и 110 000 выходных токенов. Для изображений, работы с кэшем или поиска в интернете проверьте отдельные ставки выбранной модели — они меняют смету.

Как сравнить RouterAI и ИИ-роутер Selectel

В RouterAI несколько семейств моделей доступны через единый API. В каталоге у конкретной версии указаны типы входных данных, размер контекста и ставки в рублях за миллион токенов. Для бота, который принимает фотографии, начните с формата входа. Для переписки с длинной историей проверьте контекст и стоимость повторной отправки этой истории.

У Selectel есть ИИ-роутер с OpenAI-совместимым API и рублёвым балансом. По каждому ключу можно отслеживать расходы и задавать лимиты. Это удобно, если сайт и внутренний помощник используют разные бюджеты. При выборе сверьте доступность конкретной версии модели и ставку за неё в панели.

Если приложение само выбирает исполнителя для каждого запроса, посмотрите, как работает ИИ-роутер . Перед первым пополнением проверьте способы оплаты API из России и документы для организации .

Выбрать модель в RouterAI