Разработка AI/LLM-систем

• LLM-шлюзы и маршрутизация между провайдерами

  Единая точка входа к нескольким провайдерам с выбором модели по задаче, стоимости и доступности.

• RAG и семантический поиск

  Поиск по вашим данным с помощью embeddings и pgvector, сборка контекста для ответа.

• Embeddings и долговременная память

  Что система помнит о пользователе и сессии, как это извлекается и как попадает в промпт.

• Агентные и workflow-пайплайны

  Многошаговая обработка с разными моделями, фоновыми задачами и контролем на каждом шаге.

• AI-функции внутри существующих продуктов

  Подключение к вашему backend, правам доступа и биллингу без отдельной параллельной системы.

• Внутренние AI-инструменты

  Например, аналитик, который отвечает по данным через read-only сессию БД и готовит отчёты для операционной команды.

• Оценка качества

  Сравнение моделей и промптов на реальных сценариях, проверки на регрессию.

• Биллинг и квоты

  Учёт токенов, предоплаченный баланс, лимиты по тарифам и пользователям.

• Модерация и guard-пайплайны

  Проверки запроса и ответа: попытки обхода ограничений, выход из заданной роли.

Здесь речь о том, как система хранит и находит информацию, а не об обучении моделей.

• Три слоя памяти

  Краткосрочный контекст диалога в Redis, структурированные факты в PostgreSQL, семантический поиск по embeddings в pgvector.

• Семантический кэш

  Похожие запросы получают ранее найденный ответ из Postgres + pgvector, не обращаясь к провайдеру повторно.

• Суммаризация сессий

  Длинная история сжимается в краткое резюме, а важное сохраняется в долговременную память.

• Сборка промпта под лимит токенов

  Контекст собирается из слоёв с приоритетами так, чтобы укладываться в бюджет токенов, а не обрезаться случайно.

• RAG и извлечение

  Поиск релевантных фрагментов по смыслу и подстановка их в запрос с ссылкой на источник.

Смена модели или промпта без проверки — это эксперимент на пользователях.

• Сравнение моделей

  Одни и те же сценарии прогоняются через разные модели и сравниваются по качеству и цене.

• LLM-as-judge

  Модель-оценщик ранжирует ответы по заданным критериям. Это быстрая проверка, которую дополняют разметкой людьми.

• Проверка регрессий

  Перед переключением модели или правкой промпта набор сценариев показывает, что стало хуже.

• A/B-эксперименты

  Варианты сравниваются на реальных сценариях использования, а не на синтетических примерах.

• Предоплаченный баланс с holds в Redis

  Сумма резервируется до вызова модели и списывается по факту, поэтому параллельные запросы не уводят баланс в минус.

• Воркер сверки платежей

  Платежи провайдера и записи в системе сравниваются по расписанию, подписи проверяются на входе.

• Fallback между провайдерами

  Недоступность одного провайдера не останавливает продукт.

• Учёт токенов

  Стоимость каждого запроса записывается и привязывается к пользователю, модели и тарифу.

• Наблюдаемость

  Дашборды Prometheus и Grafana по ошибкам, задержкам и расходам помогают заметить проблему до жалобы.

• Прототип должен стать надёжной функцией

  Демо работает, но нет лимитов, повторов, мониторинга и понятного поведения при ошибке.

• Стоимость и качество непредсказуемы

  Расходы растут, а какая модель лучше для какой задачи — неясно.

• Нужно подключить несколько провайдеров

  Хочется не зависеть от одного API и выбирать модель под задачу.

• AI нужен внутри существующего backend

  Функциональность должна использовать ваши данные, права и биллинг.