Выбор (и перевыбор) модели для построения ИИ-агента

В докладе речь пойдет о том, как выбрать модель для использования с ИИ-агентом, и как потом контролировать ее качество относительно других моделей на рынке. Мы рассмотрим критерии (стоимость, требования ИБ, соответствие нормативным требованиям и прочие факторы, которые надо принимать во внимание), а также инструментальную часть — как быстро (и желательно автоматически) проверять, не пора ли переключаться на новое решение. Поговорим про инструменты (Langfuse и разработки на его основе, а также фреймворки типа Ragas) и затронем сценарии проверки и перепроверки.