Мушвиг Мамедов: «Сегодня главная угроза ИИ - не восстание машин, а человеческие ошибки»

Искусственный интеллект уже перестал быть технологией будущего — сегодня он одновременно помогает защищать цифровой мир и становится мощным инструментом в руках киберпреступников. Пока одни компании внедряют ИИ для более быстрого обнаружения и предотвращения атак, злоумышленники используют его для создания дипфейков, автоматизации фишинга и совершенствования методов социальной инженерии. Где проходит грань между возможностями и рисками? Насколько реалистичны опасения о потере контроля над ИИ? И как бизнесу и обычным пользователям безопасно использовать новые технологии? Об этом мы поговорили с Мушвигом Мамедовым, официальным представителем «Лаборатории Касперского» в Азербайджане.

Как развитие ИИ изменило ландшафт киберугроз?

Современные злоумышленники активно задействуют ИИ‑модели, свободно экспериментируют с ними и делегируют технологиям значительную часть своих задач. С помощью искусственного интеллекта они генерируют сценарии социальной инженерии, создают реалистичные дипфейки, рассылают убедительные фишинговые письма и организуют атаки на компании.

При этом на данный момент нет оснований полагать, что искусственный интеллект привносит слишком большие изменения в ландшафт киберугроз, однако благодаря применению ИИ атаки становятся проще в реализации, заметно ускоряются и легче масштабируются, а порог входа для злоумышленников заметно снижается. Например, те, кто прежде не обладал достаточными навыками для атаки даже на малый бизнес, теперь могут использовать готовые ИИ‑решения и добиваться определённых результатов. При этом отличить автоматизированную атаку от действий человека становится всё сложнее — паттерны взаимодействия с жертвами практически идентичны.

Использует ли "Лаборатория Касперского" технологии искусственного интеллекта для обнаружения и предотвращения кибератак?

Разумеется, наша компания использует ИИ, в том числе при отражении атак. К примеру, на основе большой языковой модели мы разработали ИИ-ассистент KIRA (Kaspersky Investigation and Response Assistant), который помогает ИБ-специалистам быстрее и точнее анализировать события безопасности и искать угрозы.

Также мы внедрили ИИ в наше решение Kaspersky MDR для автоматического обнаружения событий — это помогло на четверть снизить объём событий, который вручную обрабатывают аналитики, что повысило качество и скорость анализа и реагирования. При этом часть событий перепроверяет человек, а ИИ-модель постоянно обучается — таким образом удаётся минимизировать количество галлюцинаций и ложных срабатываний.

Сегодня все чаще звучат опасения, что искусственный интеллект становится слишком самостоятельным. Насколько реален сценарий, при котором человек может потерять контроль над ИИ?

Я бы назвал сценарий, при котором человечество полностью потеряет контроль над ИИ и произойдёт какое‑то «восстание машин», пока что слишком нереалистичным. Дело в том, что современные алгоритмы не обладают сознанием и собственной мотивацией — а значит, они не способны целенаправленно действовать против человека. Сегодня ИИ, которыми мы пользуемся, это, по сути, продвинутая поисковая система: она хорошо обрабатывает данные и выдаёт ответы, но у неё нет ни воли, ни понимания в человеческом смысле.

При этом следует учитывать более реальные риски, которые скорее связаны с уязвимостями в применении ИИ: скажем, с галлюцинациями некоторых ИИ-моделей, промпт‑инъекциями (внедрение скрытых скрытых или вредоносных инструкций в текст запроса, заставляя нейросеть нарушать первоначальные правила разработчиков) или недостаточным контролем за автоматизированными действиями ИИ‑агентов, что может привести к компрометации чувствительных для организации или человека данных.

Сегодняшняя угроза ИИ-моделей заключается не в том, что искусственный интеллект вдруг осознает себя и пойдёт против людей, а в ошибках проектирования, недостаточной защите и человеческом факторе.

Какие механизмы должны существовать уже сейчас, чтобы даже самые мощные ИИ системы всегда оставались под контролем человека?

Наличие контроля со стороны человека — это уже главный и качественный механизм. Например, за людьми должно оставаться финальное решение в критических точках и добиваться максимальной прозрачности и объяснимости логики системы, закладывать в архитектуру технические ограничители (guardrails), регулярно проводить аудит и тестирование (в том числе имитацию атак — red-teaming), а также осознанно подходить к данным для обучения, минимизируя использование персональной информации и применяя анонимизацию.

Как вы считаете, через пять лет искусственный интеллект станет для специалистов по кибербезопасности главным союзником или главным вызовом?

Хотим мы того или нет, но инструменты киберпреступников неизбежно будут совершенствоваться параллельно с инструментами защиты. К примеру, могут появиться автономные боты, которые смогут самостоятельно сканировать инфраструктуру организаций, выявлять уязвимости, подбирать к ним эксплойты, формировать базы потенциальных жертв и массово рассылать фишинговые сообщения, а после проникновения — распространяться по сети. В этих условиях специалистам по информационной безопасности важно наращивать скорость реагирования и интегрировать ИИ‑решения в защитные процессы.

При этом сфера кибербезопасности тоже активно развивается и уже располагает эффективными инструментами для парирования новых угроз. Так, к примеру, на рынке есть решения для выявления дипфейков, а также набирают популярность LLM‑файрволлы — они фильтруют запросы и ответы, помогая предотвратить случайную утечку конфиденциальных данных сотрудников в чат‑боты.

В целом ИИ позволяет сделать подход к киберзащите более проактивным — за счёт способности систем автономно анализировать большие объёмы данных в реальном времени и прогнозируя потенциальные атаки. Это будет особенно заметно, когда более зрелой станет парадигма агентного ИИ — автономных агентов, способных выполнять сложные задачи без участия человека. Такие системы смогут не только обнаруживать подозрительную активность, но и автоматически предпринимать контрмеры — блокировать вредоносный трафик, обновлять политики доступа или уведомлять аналитика о критических событиях.

Если говорить о безопасном использовании искусственного интеллекта, какие рекомендации вы дали бы как бизнесу, так и обычным пользователям?

Самое главное для бизнеса — не просто использовать ИИ-функциональность, а ответственно подходить к внедрению и использованию новых технологий.

В первую очередь нужно помнить, что неконтролируемое использование сотрудниками публичных нейросетей может привести к утечке конфиденциальных данных — в том числе из‑за условий соглашений провайдеров ИИ или компрометации личных аккаунтов. Поэтому важно разъяснять сотрудникам, какие данные можно передавать в публичные сервисы, а какие — обрабатывать только в одобренных корпоративных решениях. При этом важно проверять такие решения с помощью надёжных тестов — например, бенчмарков, которые в том числе разрабатываются у нас в компании.

Обычным интернет-пользователям я бы также рекомендовал ИИ не передавать чат‑ботам персональные и финансовые данные. Сам аккаунт в ИИ‑сервисе тоже нужно защищать с помощью надёжного пароля и двухфакторной аутентификации.

Внимательно изучайте политику конфиденциальности сервиса — вводимая информация может сохраняться и использоваться для дообучения моделей. Также следует остерегаться сторонних плагинов: они нередко получают доступ к данным и хранят их на внешних серверах. Перепроверяйте сведения, которые выдаёт нейросеть, — модели способны «галлюцинировать» и предоставлять ложную информацию, особенно в чувствительных сферах. Наконец, следует быть настороже и с подозрительными предложениями, маскирующимися под полезные советы от ИИ или бесплатные ИИ-модели — за ними могут скрываться мошенники.