Обучение в агентных системах (Learning in Agentic Systems)

Эта глава охватывает различные техники для подхода и интеграции обучения в агентные системы. Добавление способности для агентов учиться и улучшаться со временем — невероятно полезное дополнение, но не является необходимым при проектировании агентов. Реализация возможностей обучения требует дополнительного проектирования, оценки и мониторинга, что может или не может стоить инвестиций в зависимости от приложения.

Под обучением мы понимаем улучшение производительности агентной системы через взаимодействие с окружающей средой. Этот процесс позволяет агентам адаптироваться к изменяющимся условиям, уточнять свои стратегии и улучшать общую эффективность.

Два основных подхода к обучению:

1. Непараметрическое обучение: Техники для изменения и улучшения производительности автоматически без изменения параметров задействованных моделей.

2. Параметрическое обучение: Техники, в которых мы специально обучаем или дообучаем параметры базовой модели.

Мы начнем с исследования техник непараметрического обучения, затем рассмотрим подходы параметрического дообучения, включая контролируемое дообучение и оптимизацию прямых предпочтений, которые адаптируют веса модели для целевых улучшений.