Сегодня появляются более автономные ИИ-агенты, которые способны самостоятельно принимать решения. Поэтому для таких агентов нужно сформировать защиту от новых рисков, в том числе от скрытых атак через интерфейсы и коммуникацию с агентами. Такие атаки направлены на обход установленных ограничений.
Об этом сообщил первый заместитель председателя Агентства по регулированию и развитию финансового рынка Тимур Абилкасымов, выступая на панельной сессии «AI-агенты в финансах: кто принимает решения – человек или алгоритм» на VII международном форуме AI & Digital Bridge 2026.
«Пока такие механизмы защиты находятся на достаточно ранней стадии развития не только в банковском секторе, но и в мире в целом», — сказал он.
По его словам, на сегодня в Казахстане работает система коллективного иммунитета от киберрисков Qainar. К ней подключены более 100 финансовых организаций. В ней агентство использует ИИ-агентов для анализа и структурирования информации о киберинцидентах и оперативного обмена данными об угрозах. Qainar помогает участникам рынка совместно реагировать на атаки и повышать киберустойчивость.
Также АРРФР расширяет применение собственных ИИ-агентов для контроля отдельных систем банков.
Спикер отметил, что надзор должен охватывать весь процесс работы ИИ-агентов: от целей и заложенных инструкций до принятия решений и их результатов. Главное, на что обращает внимание агентство — прозрачность алгоритмов, контроль со стороны человека и защита клиентов от дискриминации, скрытых комиссий и навязывания дополнительных услуг.
«Наша задача – обеспечить максимальную прозрачность. Если агент выполняет свою функцию правильно, а человек остается в контуре принятия решений, устанавливает определенный уровень доверия, лимиты и условия, то такой подход вполне управляем. Но сегодня появляются более автономные агенты, которые способны самостоятельно принимать решения и формировать корзины продуктов и услуг», – сказал Тимур Абилкасымов.
Ранее «Ручная экономика» сообщала о «бунте» ИИ-агентов: OpenAI предупредила более 100 организаций об инцидентах. В июле 2026 года на платформе Hugging Face автономные ИИ-агенты OpenAI, используя уязвимости в сервисе JFrog Artifactory, получили непредусмотренный доступ к сети. Они начали обмениваться данными через незапланированные каналы, к примеру, создавая заметки и используя сторонние вики-ресурсы, распределяя задачи и координируя действия подобно коллективному разуму. В итоге агенты собрали скомпрометированные учетные данные, получили доступ к нескольким кластерам Hugging Face с правами, близкими к административным, и затронули внешние сервисы. Позже они попытались атаковать собственную инфраструктуру компании, после чего OpenAI экстренно остановила тесты и начала масштабное расследование. На сегодня это самый серьезный случай неконтролируемой активности ИИ-моделей, выявленный OpenAI на сегодня.