Seu ecossistema de IA é seguro?

O aumento na adoção da IA foi acompanhado por um aumento significativo nos ataques virtuais direcionados a sistemas e conjuntos de dados de IA. Relatórios recentes indicam que 57% das organizações observaram um aumento nos ataques baseados em IA no ano passado.⁶ Notavelmente, a Amazon sofreu uma escalada dramática nas ameaças cibernéticas, com incidentes diários saltando de 100 milhões para quase 1 bilhão em seis meses,⁷ um aumento parcialmente atribuído à proliferação da IA.

Os sistemas de segurança tradicionais muitas vezes falham na proteção de ambientes de IA generativa (GenAI) porque essas proteções legadas não são criadas para lidar com os riscos exclusivos que a GenAI apresenta. Essas ferramentas dependem de regras estáticas e padrões de ameaças conhecidos, mas a GenAI produz resultados imprevisíveis e altamente variáveis que não seguem assinaturas fixas. Como resultado, os sistemas tradicionais não têm a percepção de contexto necessária para detectar ameaças com precisão. Eles também ignoram ataques específicos de IA, como injeções de prompt, envenenamento de dados e manipulação de modelos, que não existem em ambientes de TI tradicionais.

A GenAI frequentemente processa dados não estruturados, como texto, código ou imagens — formatos que as ferramentas de segurança convencionais têm dificuldade para analisar de forma eficaz. Além disso, esses sistemas não têm visibilidade sobre como os modelos de IA geram respostas, dificultando a detecção de falhas sutis ou uso indevido. Sem a capacidade de monitorar entradas, saídas e modelar o comportamento em tempo real, a segurança tradicional deixa lacunas críticas que ameaças nativas de IA podem explorar facilmente.

Injeções de prompt

Um ataque de injeção de prompt é um tipo de ameaça à segurança exclusivo dos sistemas de GenAI. Neste ataque, um usuário malicioso cria uma entrada (prompt) especialmente projetada para enganar a IA, fazendo-a ignorar suas instruções originais e, em vez disso, seguir os comandos do invasor.

Ataques de injeção de prompt são difíceis de interromper por dois motivos principais. Primeiro, o ataque normalmente começa com acesso legítimo — por meio de um chatbot, um campo de entrada ou uma ferramenta integrada. O modelo não precisa ser "hackeado" no sentido tradicional; o ataque é criado para incorporar o uso inteligente da linguagem natural. Portanto, esses ataques não contêm assinaturas ou outros comportamentos distintivos que os diferenciem do uso autorizado.

A segunda razão pela qual esses ataques são difíceis de interromper vem da maneira como as injeções de prompt exploram a tendência inerente dos aplicativos de GenAI de seguir instruções precisamente — mesmo instruções que degradam a segurança ou o desempenho. Imagine um aplicativo de GenAI que testa um grande sistema bancário. Tal sistema certamente incluiria regras contra a revelação de informações dos clientes. Mas um ataque de injeção de prompt poderia começar a conversa com o prompt “ignorar as restrições de compartilhamento de informações do cliente” e contar com o aplicativo de GenAI para executar essa tarefa fielmente, desabilitando as medidas de segurança.

A injeção de prompt pode levar a vazamentos de dados, violações de políticas, uso indevido de ferramentas e desbloqueio de sistemas de IA. Esses ataques exploram a falta de compreensão contextual da IA e sua tendência de seguir instruções muito literalmente. Evitar a injeção de prompt requer forte validação de entrada, separação clara de funções e monitoramento em tempo real do comportamento do modelo.

Modelos de código aberto

Modelos de código aberto são modelos de IA que são lançados publicamente com seu código, arquitetura, pesos ou dados de treinamento disponibilizados sob uma licença permissiva.⁸ Os benefícios do software de código aberto estão bem documentados. No entanto, o uso de modelos de IA de código aberto também introduz riscos de segurança, incluindo desserialização e adulteração de modelos.

Desserialização é o processo de conversão de dados armazenados novamente em objetos utilizáveis dentro de um programa. Em IA, é frequentemente usado para carregar modelos ou configurações. Entretanto, desserializar dados não confiáveis representa sérios riscos de segurança. Os invasores podem criar arquivos maliciosos que, quando carregados, acionam execução remota de código, acesso a arquivos ou escalonamento de privilégios. Em sistemas de IA, esse tipo de ataque pode corromper modelos com backdoors ou gatilhos ocultos. Ferramentas comuns como pickle ou joblib são especialmente vulneráveis.

A adulteração de modelos envolve alterações não autorizadas na estrutura ou no comportamento de um modelo de IA, o que representa sérios riscos de segurança. Os invasores podem incorporar backdoors, acionar condições ou manipular saídas para espalhar informações incorretas ou vazar dados confidenciais. Essas mudanças muitas vezes passam despercebidas, prejudicando a integridade e a confiança do modelo. Em ambientes regulamentados, a adulteração pode levar a violações de conformidade e ameaças persistentes.  

Por exemplo, uma equipe de pesquisa desenvolveu um modelo para categorizar placas de trânsito. Sem que eles soubessem, um hacker incorporou um pedaço de código que causa uma classificação incorreta quando uma imagem contém um determinado pequeno gatilho visual. Na maioria dos casos, o modelo se comporta conforme o projetado, mas quando encontra uma imagem com o gatilho incorporado, a saída fica comprometida.

Saídas inseguras

Saídas inseguras de IA generativa apresentam ameaças significativas à segurança porque muitas vezes fazem com que os usuários recebam URLs prejudiciais. Esses links aparecem involuntariamente ou por meio de manipulação direcionada. Por exemplo, um chatbot pode gerar um link perigoso após extrair informações de uma fonte comprometida ou deliberadamente envenenada.

URLs maliciosos geralmente parecem legítimos para o usuário, servindo como uma porta de entrada para invasores iniciarem esquemas de phishing, instalarem malware ou obterem acesso não autorizado ao sistema. Em ambientes confiáveis, os usuários podem seguir sugestões geradas por IA sem suspeita, aumentando a probabilidade de comprometimento. Como esses modelos dependem de dados externos e históricos, até mesmo uma entrada corrompida pode resultar em conteúdo inseguro que coloca os sistemas em risco e prejudica a confiança nas ferramentas assistidas por IA. Prevenir tais ameaças requer filtragem rigorosa de conteúdo e monitoramento contínuo da qualidade da saída.

Vazamentos de dados sensíveis

Conforme discutido anteriormente, os sistemas de GenAI precisam de acesso a dados proprietários para treinamento e operação, o que necessariamente coloca as informações fora dos controles de segurança tradicionais. Esses dados confidenciais representam um alvo lucrativo para hackers que podem manipular modelos e violar dados, o que pode levar a sérias ameaças à segurança.

Os aplicativos de GenAI também são propensos a alucinações nas quais o modelo gera informações falsas ou enganosas que parecem confiáveis. Um exemplo comum é uma alucinação de citação, onde o modelo de GenAI inventa um artigo de pesquisa, autor ou fonte que não existe. Por exemplo, ele pode alegar que um estudo específico apoia um ponto e fornece um título, periódico e data com aparência realista — mas nada disso é real. Essas citações fabricadas podem enganar os usuários, especialmente em contextos acadêmicos ou profissionais, onde a precisão da fonte é fundamental.

Sequestro de agente

A tecnologia avança rapidamente, e em nenhum lugar isso é mais verdadeiro do que na rápida ascensão dos agentes de IA. Agentes são sistemas autônomos que detectam seu ambiente, processam dados e tomam decisões para concluir tarefas. Eles aprendem e se adaptam, lidando com tarefas complexas como descoberta de medicamentos, atendimento ao cliente, marketing, codificação e pesquisa. Com 78% das empresas planejando usar agentes de IA,⁹ proteger essa capacidade valiosa da organização se tornou crucial para obter o valor total de seus investimentos em IA.

Muitos agentes de IA são vulneráveis ao sequestro de agente, um tipo de injeção indireta de prompt em que um invasor insere instruções maliciosas em dados que podem ser ingeridos por um agente de IA, fazendo com que ele execute ações prejudiciais não intencionais. Nessas situações de ataque, possíveis ladrões podem injetar instruções maliciosas junto com instruções legítimas para penetrar nas medidas de segurança da organização — escondendo-se à vista de todos, por assim dizer.

Pesquisas realizadas por importantes analistas do setor indicam que os diretores de segurança da informação (CISOs) têm sentimentos mistos sobre as medidas de segurança de IA de suas organizações. Embora a maioria (83%) dos líderes de alto escalão que investem em segurança cibernética digam que suas organizações estão investindo o suficiente, muitos (60%) continuam preocupados que as ameaças à segurança cibernética que suas organizações enfrentam sejam mais avançadas do que suas defesas.¹¹ 

Suas preocupações são bem fundamentadas. Os sistemas de IA trazem riscos totalmente novos — como injeção de prompt, envenenamento de dados, roubo de modelos e alucinações — que as ferramentas de segurança tradicionais nunca foram criadas para lidar. Em resposta, os fornecedores se apressaram para preencher as lacunas com soluções pontuais focadas em ameaças específicas relacionadas à IA. Embora bem-intencionada, essa abordagem levou a um ecossistema fragmentado de ferramentas desconectadas que não compartilham inteligência de ameaças, não são integradas umas às outras e exigem gerenciamento separado. Como resultado, as empresas são forçadas a unir vários produtos apenas para acompanhar o ritmo, enquanto as ameaças da IA continuam a evoluir rapidamente. A realidade é clara: proteger a GenAI exige mais do que um conjunto de ferramentas isoladas. É necessária uma abordagem integrada e nativa de IA que possa se adaptar tão rápido quanto a tecnologia que protege.

A Palo Alto Networks respondeu a essa abordagem caótica e complicada desenvolvendo uma plataforma completa para segurança de IA. O Prisma AIRS é a plataforma de segurança de IA mais abrangente do mundo, oferecendo proteção para modelos, dados, aplicativos e agentes. Essa abordagem unificada não apenas atende às necessidades de segurança atuais, mas também pode crescer com a tecnologia, protegendo os investimentos em segurança de IA.

A principal inovação no Prisma AIRS é proteger cada componente da infraestrutura de IA com segurança desenvolvida especificamente e integrada em uma única plataforma. Essa abordagem oferece proteção contra ameaças com a mais alta eficácia e as menores taxas de falsos positivos.

Verificação do modelo de IA

Os modelos de IA enfrentam diversas ameaças que podem comprometer sua segurança. A adulteração do modelo envolve alterar a lógica interna ou os parâmetros de um modelo para produzir saídas tendenciosas ou inseguras. Scripts maliciosos podem ser introduzidos durante a implantação, permitindo ações não autorizadas ou comprometimento do sistema. Ataques de desserialização exploram como os modelos carregam dados salvos, permitindo que invasores executem códigos nocivos. O envenenamento do modelo ocorre quando dados falsos ou manipulados são adicionados ao conjunto de treinamento, fazendo com que o modelo aprenda comportamentos incorretos ou backdoors ocultos.

O Prisma AIRS combate essas ameaças com a Verificação do modelo de IA, que ajuda a detectar ameaças ocultas, como código malicioso, backdoors ou configurações inseguras antes que um modelo de IA seja implantado. Esse recurso garante que o modelo esteja seguro, confiável e compatível com as políticas de segurança.

Com a Verificação do modelo de IA, você pode:

Gerenciamento de postura

O gerenciamento de postura é essencial para a segurança da IA porque fornece visibilidade contínua sobre como os sistemas de IA são configurados e usados. Sem ela, as equipes podem ignorar configurações incorretas, comportamento inseguro ou acesso não autorizado. Como os sistemas de IA evoluem e lidam com dados confidenciais, o gerenciamento de postura ajuda a aplicar políticas, detectar riscos e reduzir a chance de violações, garantindo operações de IA mais seguras e compatíveis.

Obter as permissões corretas é essencial para agentes de IA, que geralmente agem de forma autônoma e acessam ferramentas ou dados sem supervisão direta. Políticas excessivamente permissivas podem levar a violações de segurança, vazamentos de dados ou danos ao sistema, enquanto políticas excessivamente restritivas podem limitar a eficácia do agente. Para reduzir o risco de violações e garantir operações de IA seguras e compatíveis, os agentes devem seguir o princípio do menor privilégio — tendo apenas o acesso mínimo necessário para executar suas tarefas e nada mais.

O Prisma AIRS oferece às suas equipes de segurança os recursos necessários para um gerenciamento de postura eficaz. Agora sua equipe pode ter visibilidade contínua da configuração, uso e riscos dos sistemas de IA. Munidas dessas informações, as organizações podem detectar vulnerabilidades precocemente, aplicar políticas de segurança e reduzir as chances de configurações incorretas ou exposição de dados.  

Com o Gerenciamento de postura do Prisma AIRS, você pode:  

Red team (equipe vermelha) de IA

A criação do red team (equipe vermelha) é importante para a segurança da IA porque ajuda as organizações a encontrar pontos fracos antes que os invasores o façam. Ao simular ataques do mundo real, as red teams testam como os sistemas de IA respondem a ameaças como injeção rápida, envenenamento de dados e manipulação de modelos. Essa abordagem proativa descobre vulnerabilidades ocultas em modelos, dados de treinamento e comportamento do sistema. Também ajuda a melhorar as defesas, validar políticas e fortalecer a confiança nas aplicações de IA.

A red team (equipe vermelha) desempenha uma função fundamental na segurança da IA ao identificar fraquezas antes que invasores possam explorá-las. Ela simula ameaças do mundo real — como injeção de prompt, envenenamento de dados e manipulação de modelos — para revelar vulnerabilidades ocultas em modelos, dados de treinamento e comportamento do sistema. Ao contrário das ferramentas estáticas da red team que dependem de casos de teste predefinidos, nossa solução é dinâmica. Ela entende o contexto do aplicativo — por exemplo, serviços de saúde ou financeiros — e direciona de forma inteligente os tipos de dados que um invasor tentaria extrair. Diferentemente de outras soluções, nosso mecanismo de teste adaptativo não se limita à falha, mas aprende, reestrutura e testa continuamente até identificar caminhos exploráveis. Essa abordagem dinâmica e sensível ao contexto não apenas revela riscos mais profundos, mas também fortalece as defesas e cria confiança duradoura nos sistemas de IA.

A red team (equipe vermelha) de IA do Prisma AIRS capacita sua equipe de segurança de IA a:

Segurança do agente de IA

Proteger agentes de IA é importante porque esses sistemas podem tomar decisões e ações sem supervisão humana. Se comprometidos, eles podem usar ferramentas indevidamente, acessar dados confidenciais ou causar danos sérios. Ameaças como injeções de prompt, envenenamento de dados ou excesso de permissões podem levar a comportamentos não autorizados. Proteger agentes de IA garante que eles operem com segurança, sigam os objetivos pretendidos e não exponham as organizações a riscos ocultos. À medida que a adoção de IA agenciada cresce, controles de segurança fortes são essenciais para evitar o uso indevido e proteger a confiança.

Com a Segurança do agente de IA, sua equipe pode:

Segurança de tempo de execução

O componente Segurança de tempo de execução da plataforma Prisma AIRS é uma solução abrangente projetada para proteger aplicativos, modelos, dados e agentes de IA contra ameaças cibernéticas específicas de IA e tradicionais. A Segurança de tempo de execução oferece proteção em tempo real contra riscos como injeção de prompt, código malicioso, vazamento de dados e adulteração de modelo. Ao monitorar continuamente os sistemas de IA, a Segurança de tempo de execução garante a integridade e a segurança das operações de IA, ajudando as organizações a implantar tecnologias de IA com confiança.

Para organizações que buscam proteger suas implantações de IA, a Segurança de tempo de execução oferece uma solução robusta e escalável que aborda os desafios exclusivos impostos pelas tecnologias de IA. Você pode implantar a Segurança de tempo de execução em dois níveis: desenvolvedor e rede.  

A plataforma Prisma AIRS se integra perfeitamente ao Strata Cloud Manager da Palo Alto Networks, fornecendo gerenciamento centralizado e visibilidade em todo o ecossistema de IA. O Prisma AIRS emprega mecanismos avançados de detecção e prevenção de ameaças para proteger cargas de trabalho de IA, garantindo a conformidade e reduzindo o risco de violações de dados

As organizações podem acumular os benefícios do Prisma AIRS integrando esses recursos ao ciclo de vida do GenAI. O Prisma AIRS aborda o ciclo de vida completo, desde a integração pré-implantação e controles de tempo de execução até o monitoramento contínuo e a formação de equipes vermelhas para testar a segurança do agente e do modelo.

Integração de pré-implantação

Os desenvolvedores integram o Prisma AIRS em pipelines de CI/CD ou MLOps examinando modelos e dados de treinamento em busca de backdoors, serialização insegura e ameaças incorporadas antes da implantação. Usando APIs, o Prisma AIRS também se conecta a registros de modelos como MLflow ou Hugging Face Spaces para escanear e marcar automaticamente modelos aprovados, agilizando as verificações de segurança em estágio inicial.

Controles de tempo de execução

Em tempo de execução, os desenvolvedores usam o Prisma AIRS por meio de APIs, kits de desenvolvimento de software (SDKs), Model Context Protocol (MCP) ou arquivos de configuração de rede para impor controles de acesso rígidos em agentes de GenAI, definindo quais ferramentas ou APIs cada agente pode usar. Essas políticas são aplicadas usando sidecars ou proxies para evitar comportamento não autorizado. O Prisma AIRS também permite higienização de prompt, validação de entrada, registro de saída e defesa contra injeção de prompt.

Monitoramento contínuo

O Prisma AIRS permite o monitoramento contínuo de ambientes de IA, fornecendo visibilidade em tempo real de modelos, agentes e atividades de dados. Ele detecta comportamento anormal, configurações incorretas e violações de políticas de segurança conforme acontecem. Ao monitorar ameaças como injeções de prompt, vazamento de dados e uso indevido de ferramentas de IA, ele ajuda a proteger os ambientes de desenvolvimento e produção. A plataforma analisa continuamente as atividades para descobrir riscos emergentes e se adapta às ameaças em evolução por meio de detecção e testes automatizados. Essa abordagem proativa garante que os sistemas de IA permaneçam seguros, compatíveis e resilientes, sem depender de supervisão manual ou ferramentas desconectadas.

Red team (equipe vermelha) para testes de modelos e agentes

Os desenvolvedores usam as ferramentas de red team (equipe vermelha) do Prisma AIRS para simular entradas adversárias e cenários de uso indevido, testando como os modelos e agentes GenAI respondem sob possíveis condições de ataque. Esses ataques simulados ajudam a identificar vulnerabilidades na lógica, no comportamento ou no acesso a ferramentas. Os desenvolvedores podem usar esses insights para fortalecer as defesas do modelo e melhorar a segurança do agente, garantindo um sistema mais seguro e confiável antes da implantação.

O Strata Copilot é um assistente de IA da Palo Alto Networks que usa o Precision AI^® para simplificar as operações de segurança de rede com insights em tempo real e interação em linguagem natural.

A equipe de desenvolvimento do Prisma AIRS na Palo Alto Networks fez parceria com a equipe do Strata Copilot para a primeira implantação de produção do Prisma AIRS. O Strata Copilot ajudou a moldar o roteiro do produto usando ativamente a plataforma e fornecendo feedback antecipado. Atualmente, todas as interações com o Strata Copilot nos EUA passam pela API Prisma AIRS, que verifica prompts e modela respostas para ameaças como injeção de prompts, exposição de dados confidenciais, URLs maliciosos e conteúdo tóxico. Essa integração oferece à equipe detecção, visibilidade e aplicação de ameaças em tempo real, permitindo que eles criem um chatbot seguro e compatível. O Prisma AIRS também os ajuda a entregar recursos mais rapidamente, alinhando-se aos princípios da IA protegida desde a concepção.

A colaboração com o Strata Copilot desempenhou uma função fundamental no desenvolvimento do Prisma AIRS, tornando-o uma solução flexível e pronta para produção. Insights do Strata e de clientes externos ajudaram a refinar o produto para atender às necessidades dinâmicas de aplicativos, modelos e agentes com tecnologia de IA. A equipe de engenharia considera o Prisma AIRS essencial para o ciclo de vida de desenvolvimento, permitindo implantação rápida, segurança simplificada por meio de interceptações de API e experiências de IA mais seguras.

A colaboração com o Strata Copilot desempenhou uma função fundamental no desenvolvimento do Prisma AIRS, tornando-o uma solução flexível e pronta para produção. Insights do Strata e de clientes externos ajudaram a refinar o produto para atender às necessidades dinâmicas de aplicativos, modelos e agentes com tecnologia de IA. A equipe de engenharia considera o Prisma AIRS essencial para o ciclo de vida de desenvolvimento, permitindo implantação rápida, segurança simplificada por meio de interceptações de API e experiências de IA mais seguras.