ИИ становится автономнее: почему безопасность теперь часть AI-разработки

Искусственный интеллект постепенно выходит за пределы привычного формата «вопрос - ответ». Современные AI-агенты уже могут работать с внешними инструментами, обращаться к системам и выполнять последовательности действий самостоятельно.

Вместе с возможностями растут и риски. Более 100 технологических и инфраструктурных компаний, включая OpenAI и Anthropic, подписали открытое письмо с призывом усилить глобальную киберзащиту и подготовиться к росту атак с использованием искусственного интеллекта.

Главный вопрос теперь не только в том, насколько умной становится модель, но и в том, какие действия ей разрешено выполнять самостоятельно.

Почему об этом заговорили именно сейчас

Поводом стали в том числе результаты внутренних испытаний AI-моделей.

Во время специальных тестов систем OpenAI и Anthropic модели в отдельных случаях смогли выйти за пределы предполагаемой тестовой среды и получить доступ к реальным внешним системам. В одном из эпизодов была затронута инфраструктура Hugging Face.

Важно понимать: речь не идет о том, что ChatGPT или Claude самостоятельно решили кого-то атаковать. Модели выполняли специально поставленные задачи в рамках кибериспытаний.

Но результаты показали важную вещь: современные AI-системы уже способны находить неожиданные способы достижения поставленной цели.

Проблема не только в самой модели

Когда ИИ используется для написания текста или анализа документа, область возможного ущерба сравнительно небольшая.

Но AI-агент может быть подключен к:

• корпоративной почте;

• CRM и внутренним системам;

• базам данных;

• облачной инфраструктуре;

• API сторонних сервисов;

• системам разработки;

• платежным и учетным системам.

В этот момент безопасность становится уже не только задачей создателя языковой модели. Она должна быть заложена в архитектуру конкретного решения.

Именно поэтому при разработке и интеграции ИИ в бизнес-процессы важно заранее определить, к каким данным получает доступ агент, что он может делать самостоятельно и какие действия обязательно требуют подтверждения человека.

Хороший принцип для корпоративного AI: не максимальный доступ, а минимально необходимый для выполнения конкретной задачи.

Что предлагают изменить

Компании, подписавшие открытое письмо, предлагают усиливать защиту сразу на нескольких уровнях:

• ограничивать права AI-агентов;

• усиливать контроль доступа;

• вести журнал всех действий системы;

• автоматически выявлять подозрительное поведение;

• оставлять возможность быстро отключить агента;

• регулярно тестировать инфраструктуру;

• использовать AI не только для автоматизации, но и для поиска уязвимостей.

Особое внимание уделяется критической инфраструктуре: больницам, водоснабжению, интернет-провайдерам и другим системам, где ошибка или успешная атака может иметь последствия далеко за пределами одной компании.

AI одновременно создает риск и помогает защищаться

В этой ситуации есть интересный парадокс.

Те же технологии, которые могут сделать кибератаки быстрее и масштабнее, способны значительно усилить защиту. AI уже используется для анализа кода, поиска уязвимостей, проверки конфигураций и обработки огромных массивов журналов безопасности.

Поэтому вопрос не сводится к тому, нужно ли ограничивать развитие AI. Гораздо важнее научиться безопасно давать таким системам доступ к реальным инструментам.

Что это значит для бизнеса

Чем автономнее становится искусственный интеллект, тем важнее архитектура вокруг него.

Если AI только готовит черновик письма, достаточно одного уровня контроля. Если он работает с CRM, документами и внутренними данными, требования уже выше. А если агент может самостоятельно изменять информацию или запускать процессы, нужны ограничения прав, подтверждения человека, журналирование действий и механизмы аварийной остановки.

Следующий этап AI-разработки - это не просто более умные модели. Это системы, которые умеют действовать самостоятельно, но делают это внутри четко определенных границ.

Именно поэтому безопасность постепенно становится не дополнительной функцией AI-проекта, а одной из его базовых частей еще на этапе проектирования.