Microsoft запустила стандарт ACS для контроля ИИ-агентов

Интерфейс Microsoft Purview с политиками контроля неэтичного поведения ИИ-агентов

Компания Microsoft объявила о новом открытом стандарте Agent Control Specification (ACS). Он поможет разработчикам контролировать работу ИИ-агентов в различных приложениях и средах.

Проблема контроля агентов

ИИ-агенты становятся все более сложными и активно используются в приложениях, рабочих процессах и продуктах. В то же время возникает потребность в едином контроле их поведения после развертывания в различных системах.

ACS позволяет задавать правила для агентов и проверять их выполнение. Правила определяют разрешенные и запрещенные действия, случаи, когда требуется одобрение человека, а также данные для дальнейшей проверки. Политики проверяются в нескольких контрольных точках во время выполнения задач.

Единый подход к управлению

Ранее разработчики применяли различные методы: инструкции в системных подсказках, собственные проверки в коде или классификаторы. Такие решения часто оставались разрозненными и сложными для повторного использования.

Новый стандарт создает единый уровень управления. Он поддерживает проверки до получения входных данных, перед вызовом инструмента, после получения результата и перед отправкой финального ответа. Политика может разрешить или заблокировать действие, скрыть конфиденциальную информацию или потребовать подтверждения от человека.

Разработчики могут добавлять классификаторы для анализа данных или использовать языковые модели как судей для оценки соблюдения правил. Политики сохраняются в одном файле, поэтому их легко переносить между средами и фреймворками.

Microsoft выпускает ACS в виде SDK. Стандарт уже поддерживает платформы LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel и Microsoft.Extensions.AI.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *