Skip to main content

3. Выбор модели

В основе каждой агентной системы лежит модель, которая управляет способностью агента принимать решения, взаимодействовать и обучаться. Выбор правильной модели является фундаментальным: он определяет, как агент интерпретирует входы, генерирует выходы и адаптируется к своей среде. Это решение влияет на производительность системы, масштабируемость, задержку и стоимость.

Оценка сложности задачи​

Выбор модели начинается с оценки сложности задачи. Большие foundation модели — такие как GPT-5 или Claude Opus 4.1 — хорошо подходят для агентов, работающих в открытых средах, где важны нюансированное понимание, гибкое рассуждение и творческая генерация. Эти модели предлагают впечатляющую обобщающую способность и превосходно справляются с задачами, связанными с неоднозначностью, контекстными нюансами или множественными шагами.

Однако их преимущества имеют свою цену: они требуют значительных вычислительных ресурсов, часто требуют облачной инфраструктуры и вводят более высокую задержку. Они лучше всего подходят для приложений, таких как персональные помощники, исследовательские агенты или корпоративные системы, которые должны обрабатывать широкий спектр непредсказуемых запросов.

Малые модели для структурированных задач​

Напротив, малые модели — такие как дистиллированные варианты ModernBERT или Phi-4 — часто более подходят для агентов, выполняющих четко определенные, повторяющиеся задачи. Эти модели эффективно работают на локальном оборудовании, быстро реагируют и менее дороги в развертывании и обслуживании. Они хорошо работают в структурированных настройках, таких как поддержка клиентов, поиск информации или маркировка данных, где важна точность, но творчество и гибкость менее важны.

Когда критически важны отзывчивость в реальном времени или ограничения ресурсов, малые модели могут превзойти своих более крупных коллег просто тем, что они более практичны.

Модальность как важное измерение​

Все более важным измерением в выборе модели является модальность. Агенты сегодня часто должны обрабатывать не только текст, но и изображения, аудио или структурированные данные. Мультимодальные модели, такие как GPT-5 и Claude 4.1, позволяют агентам интерпретировать и комбинировать разнообразные типы данных — текст, визуальные элементы, речь и многое другое. Это расширяет полезность агента в таких областях, как здравоохранение, робототехника и поддержка клиентов, где решения зависят от интеграции множественных форм ввода.

Напротив, текстовые модели остаются идеальными для чисто языковых случаев использования, предлагая меньшую сложность и более быстрое выведение в сценариях, где дополнительные модальности предоставляют мало дополнительной ценности.

Открытость и настраиваемость​

Еще одно ключевое соображение — открытость и настраиваемость. Модели с открытым исходным кодом, такие как Llama и DeepSeek, предоставляют разработчикам полную прозрачность и возможность тонкой настройки или модификации модели по мере необходимости. Эта гибкость особенно важна для приложений, чувствительных к конфиденциальности, регулируемых или специфичных для домена. Модели с открытым исходным кодом могут размещаться на частной инфраструктуре, адаптироваться к уникальным случаям использования и развертываться без лицензионных затрат — хотя они требуют больше инженерных накладных расходов.

Напротив, проприетарные модели, такие как GPT-5, Claude и Cohere, предлагают мощные возможности через API и поставляются с управляемой инфраструктурой, мониторингом и оптимизацией производительности. Эти модели идеальны для команд, стремящихся к быстрой разработке и развертыванию, хотя настройка часто ограничена, а затраты могут быстро масштабироваться с использованием.

Предобученные vs кастомные модели​

Выбор между использованием предобученной модели общего назначения или кастомно обученной модели зависит от специфичности и важности домена агента. Предобученные модели — обученные на широких корпусах интернет-масштаба — хорошо работают для общих языковых задач, быстрого прототипирования и сценариев, где точность домена не критична. Эти модели часто могут быть слегка тонко настроены или адаптированы через техники промптинга для достижения сильной производительности с минимальными усилиями.

Однако в специализированных доменах — таких как медицина, право или техническая поддержка — кастомно обученные модели могут предоставить значительные преимущества. Обучая на кураторских, специфичных для домена наборах данных, разработчики могут наделить агентов более глубокой экспертизой и контекстным пониманием, приводя к более точным и надежным выходным данным.

Соображения стоимости и задержки​

Соображения стоимости и задержки часто склоняют чашу весов в реальных развертываниях. Большие модели обеспечивают высокую производительность, но дороги в запуске и могут вводить задержки ответа. В случаях, когда это неприемлемо, малые модели или сжатые версии больших моделей обеспечивают лучший баланс. Многие разработчики принимают гибридные стратегии, где мощная модель обрабатывает самые сложные запросы, а легковесная модель обрабатывает рутинные задачи.

В некоторых системах динамическая маршрутизация моделей гарантирует, что каждый запрос оценивается и направляется к наиболее подходящей модели на основе сложности или срочности — позволяя системам оптимизировать как стоимость, так и качество.

Сравнение моделей​

Центр исследований Foundation моделей в Стэнфордском университете выпустил Holistic Evaluation of Language Models, предоставляя строгое стороннее измерение производительности по широкому спектру моделей. В таблицах представлены небольшие выборки языковых моделей вместе с их производительностью на бенчмарке Massive Multitask Language Understanding (MMLU), обычно используемой общей оценке способностей этих моделей.

Малые модели с открытыми весами (до ~14 миллиардов параметров) могут работать на одном потребительском GPU, таком как NVIDIA RTX 3090 с 24 ГБ видеопамяти. Выше этого порога вам, вероятно, понадобится серверный GPU, такой как NVIDIA A100, который поставляется в вариантах 40 ГБ и 80 ГБ.

Большие флагманские модели обычно требуют по крайней мере 12 GPU для разумной производительности, но могут требовать гораздо больше. Эти большие модели почти всегда используются на серверах в больших центрах обработки данных. Обычно тренеры моделей взимают плату за доступ к этим моделям на основе количества входных и выходных токенов.

Стратегический выбор​

В конечном счете, выбор модели — это не одноразовое решение, а стратегический проектный выбор, который должен пересматриваться по мере эволюции возможностей агента, потребностей пользователей и инфраструктуры. Разработчики должны взвешивать компромиссы между общностью и специализацией, производительностью и стоимостью, простотой и расширяемостью. Тщательно рассматривая сложность задачи, входные модальности, операционные ограничения и потребности в настройке, команды могут выбирать модели, которые позволяют их агентам действовать эффективно, масштабироваться надежно и работать с точностью в реальном мире.