Risks of Agentic AI: What You Need to Know About Autonomous AI

0:00 A IA está evoluindo em um ritmo sem precedentes e estamos entrando em uma nova fronteira, a IA génica. Eles não são apenas bots de bate-papo ou mecanismos de recomendação. Esses são sistemas de IA que podem definir metas, tomar decisões e agir de forma autônoma. Essa mudança traz grandes oportunidades, automatizando fluxos de trabalho complexos e acelerando a inovação, mas também introduz sérios riscos. O que acontece quando a IA toma decisões sem supervisão humana? Como governamos a IA que pensa e age por si mesma? E é exatamente isso que estamos aqui para discutir. Vamos começar explicando por que a IA agêntica é diferente da IA ​​tradicional. Diferentemente dos modelos clássicos de aprendizado de máquina, que

0:45 respondem a entradas preditivas e produzem saídas esperadas, a IA agentiva pega a saída de um modelo de IA e a usa como entrada para outro modelo de IA. Há quatro características principais, todas derivadas da autonomia, que amplificam diversas novas formas de risco. Primeiro, há a subespecificação. A IA recebe uma meta ampla, mas não recebe instruções explícitas sobre como realmente alcançá-la. Planejamento de longo prazo. Esses modelos tomam decisões baseadas nos anteriores. Direcionamento de metas. Em vez de simplesmente responder às entradas, eles trabalham em direção a um objetivo. E então há a direção do impacto. Alguns desses sistemas operam sem

1:32 qualquer intervenção humana. Então o que você quer que eu lembre é que a autonomia em si é igual a um risco aumentado. E vou colocar três pontos de exclamação. E essa é a questão. À medida que a autonomia aumenta, também aumentam os riscos, como desinformação, erros de tomada de decisão e vulnerabilidades de segurança. Muitas organizações ainda estão se atualizando com os riscos da IA ​​generativa e a IA génica apenas os amplifica. Observe que com resultados como esses, há ainda menos humanos envolvidos. Menos especialistas no assunto fazendo

2:19 correções de curso. Olha, não temos tempo para definir cada um desses riscos para você. Poderíamos gravar um programa sobre cada um deles, mas queremos que você veja esta lista impressionante de riscos que são amplificados ou novos com a IA da Agentic porque queremos que você entenda por que a governança é tão crítica. Agora, vamos falar sobre como realmente governamos essa tecnologia. Uma governança eficaz para a IA Agentic requer uma abordagem multicamadas que abranja salvaguardas técnicas e barreiras de proteção, como a interruptibilidade. Podemos pausar ou desligar solicitações específicas ou até mesmo o sistema inteiro? Humano no circuito. Quando a IA requer aprovação humana? O agente consegue parar e

3:05 esperar por essa entrada? E tratamento de dados confidenciais. Temos a higienização de dados adequada, como detecção e mascaramento de PII, para evitar a divulgação de informações confidenciais? Além disso, temos controles de processo. Coisas como permissões baseadas em risco . Que ação a IA nunca deve tomar de forma autônoma? Auditabilidade. Se uma IA chega a uma decisão, podemos rastrear como ela fez essa escolha? E monitoramento e avaliação. O desempenho da IA ​​precisa de supervisão constante. E, por último, responsabilidade e estruturas organizacionais. Quem assume a responsabilidade quando as decisões de IA causam danos? Quais regulamentações se aplicam aos seus casos de uso de IA? E como responsabilizamos nossos fornecedores pelo comportamento da IA ?

3:53 Agora vamos analisar as salvaguardas técnicas. Qualquer organização que implemente o Agentic AI precisa de proteções em cada um dos principais componentes de um agente. O primeiro está na camada do modelo. Isso serve para verificar se há pessoas mal-intencionadas tentando fazer com que o agente tome ações que não estão alinhadas com as políticas ou diretrizes da sua organização ou mesmo com os valores éticos humanos. Absolutamente. A próxima camada é a camada de orquestração. Aqui, você vai querer ter uma detecção de loop infinito não apenas para manter uma experiência de usuário agradável, mas também para evitar falhas muito dispendiosas. Então, na camada de ferramentas, vamos querer ter certeza de limitar cada ferramenta para um agente específico

4:39 para dar a eles o uso apropriado e não sair de suas áreas predefinidas. E fazemos isso por meio de controle de acesso baseado em funções. E como sabemos que tudo isso se encaixa? Precisamos testar o sistema rigorosamente. Recomendamos fortemente o uso de equipes vermelhas para que possamos expor quaisquer vulnerabilidades antes da implantação. E quando chegarmos a essa implantação, queremos ter certeza de que estamos monitorando continuamente para que tenhamos avaliações automatizadas para entender se temos alguma alucinação ou violação de conformidade. As organizações mais bem-sucedidas já estão aproveitando ferramentas e estruturas avançadas para garantir uma implantação de IA segura e eficaz. Isso inclui

5:25 modelos e proteções projetados para detectar e mitigar riscos em prompts e respostas gerados por IA. Estruturas de orquestração de agentes que permitem a coordenação segura de fluxos de trabalho em vários sistemas de IA. Grades de proteção focadas em segurança que ajudam a aplicar políticas e proteger dados confidenciais durante interações e soluções de observabilidade que fornecem insights sobre o comportamento do sistema, ajudando as equipes a monitorar e entender o que realmente está acontecendo nos bastidores. A IA Agentic está aqui. É poderoso. Está evoluindo rápido. E as organizações

6:11 que não levam a governança a sério hoje se arrependerão amanhã. E governança não é apenas sobre segurança. É sobre controle. A IA deve capacitar organizações, não criar riscos não gerenciados . Então aqui está o nosso desafio para você. Antes de deixar a IA agir em seu nome, certifique-se de ter as proteções corretas em vigor. Porque na era da IA ​​tática, a responsabilidade não recai apenas sobre a máquina. Ela cai sobre nós.