À medida que as organizações experimentam IA Generativa, percebemos que nem todas as empresas têm todas as proteções necessárias implementadas. Isso introduz riscos e possíveis exposições ao vazamento e/ou à perda de dados sensíveis.

Para organizações empresariais altamente reguladas, o risco é ainda maior. Além de a ausência de verificações e controles atrair a atenção de reguladores, há também o risco de dano reputacional. Uma Cadeia de Verificação dinâmica é o que se faz necessário para escalar a adoção de IA de forma responsável.

O que queremos dizer com Cadeia de Verificação? 

A Cadeia de Verificação, no contexto de modelos de linguagem de grande porte (LLMs), refere-se ao processo abrangente que garante a precisão, a confiabilidade e a adequação dos dados e algoritmos usados nesses modelos, especialmente em setores regulados, onde transparência e explicabilidade se tornam cada vez mais essenciais.

Neste blog, vamos apresentar de forma breve cinco etapas para construir um framework de risco para IA Generativa, de modo que você tenha os controles certos sobre a entrada, o processo e a saída da sua IA Generativa. Em essência, trata-se de estabelecer uma Cadeia de Verificação ao longo de todo o ciclo de vida da IA Generativa, de ponta a ponta.

Etapa 1: Estabeleça um modelo de capacidades

Primeiro, você precisa estabelecer um modelo de capacidades com liderança clara de IA, uma estratégia alinhada aos objetivos gerais do negócio e um programa de educação e letramento que ofereça suporte às pessoas impactadas em toda a organização.

O modelo deve considerar tanto a ideação quanto a entrega do projeto. Ele também exige times multifuncionais, capazes de garantir que o projeto seja entregue de forma confiável e sem impacto prejudicial aos negócios. Esses times devem incluir profissionais de gestão de risco da 1ª, 2ª e 3ª linhas de defesa, familiarizados com o seu produto, além de times de engenharia de dados e de IA, para garantir que o ambiente de controles seja incorporado à própria estrutura dos seus procedimentos de desenvolvimento e treinamento de ML e IA.

Etapa 2: Adote objetivos e indicadores-chave de risco

Como em uma mitigação de risco bem estabelecida, precisamos tornar os riscos da IA generativa mensuráveis. É aqui que os Objetivos-Chave de Risco e os Indicadores-Chave de Risco ajudam. Com forte inspiração em conceitos de site reliability engineering do Google, esses objetivos e indicadores são uma ótima forma de reduzir a distância entre times de engenharia de dados e IA e seus pares das 3 linhas de defesa que atuam em risco, compliance e auditoria. Objetivos e indicadores devem ser definidos para garantir que quaisquer riscos relacionados à sua IA Generativa sejam mensuráveis.

O que é um objetivo-chave de risco?

Objetivos-chave de risco (KROs) em IA generativa são metas estratégicas voltadas a minimizar riscos associados ao desenvolvimento e à implementação de modelos de IA. Esses objetivos buscam garantir que a IA opere de forma segura, ética e eficaz dentro do escopo pretendido.

Eles se alinham aos objetivos mais amplos da organização, garantindo que as tecnologias de IA contribuam de forma positiva, sem causar danos não intencionais ou preocupações éticas.

O que é um indicador-chave de risco?

Indicadores-chave de risco (KRIs), no contexto de IA generativa, são métricas mensuráveis que ajudam a identificar e quantificar riscos. Eles funcionam como sinais de alerta precoce para detectar problemas potenciais antes que se tornem críticos.

KRIs eficazes são específicos, mensuráveis e alinhados aos objetivos-chave de risco. Idealmente, podem ser capturados e visualizados de maneira codificada.

Etapa 3: Organize seus dados e adote LLMOps

Você precisa garantir que seus dados sejam de alta qualidade e que exista uma governança de dados rigorosa. É aqui que defendemos uma arquitetura moderna e distribuída de dados, baseada em princípios de data mesh. Com isso, aplicamos uma mentalidade de produto de dados, que permite identificar, curar, ter ownership e governar conjuntos de dados primários que podem ser o combustível do LLM que sustenta a IA Generativa.

Além disso, ao implementar controles de governança por meio de práticas de gestão de metadados e contratos de dados, podemos ter segurança sobre a origem dos dados, seu propósito e como eles foram aplicados para alimentar as entradas da IA generativa. Isso é extremamente importante para explicabilidade e para conseguir determinar quais dados foram usados, onde, quando e como, para estabelecer os insights da sua IA generativa.

As empresas devem buscar estabelecer uma Cadeia de Verificação que ofereça uma visão de ponta a ponta da entrada que alimenta o LLM e da saída que surge do outro lado. Isso é especialmente importante ao fazer fine-tuning de modelos com seus próprios dados. É aqui que uma abordagem de Language Model Operations (LLMOps) pode ajudar.

LLMOps refere-se às diversas operações, técnicas e métodos empregados no funcionamento e na utilização de LLMs. Isso inclui uma gama de processos, como treinamento, fine-tuning, inferência e implantação de modelos de linguagem. Em alto nível, o LLMOps se divide em uma série de etapas e é ilustrado na imagem abaixo:

Etapa 4: Use IA Generativa para testar suas aplicações de IA Generativa

Considere usar IA Generativa para governar a sua IA Generativa.

Por exemplo, você pode usar IA Generativa para validar seu ambiente de controles, pedindo ao seu LLM que analise regulações de IA e boas práticas do setor ao redor do mundo e as compare com as políticas do seu ambiente de controles. Os resultados vão determinar quais legislações são relevantes para quais controles e como sua organização os sustenta.

Isso permite aplicar controles em todo o seu ecossistema tecnológico. Aproveite as capacidades tecnológicas que descrevemos na Etapa 3 acima para (i) identificar a regulação, (ii) documentar como você vai cumprir a regulação, (iii) usar ferramentas, pessoas e processos para evidenciar o controle e (iv) demonstrar, por meio de controles automatizados sempre que possível, sua capacidade de auditar a aplicação desses controles.

Sua organização também pode usar IA Generativa para:

• Criar exemplos adversariais para enganar seus modelos de IA, ajudando a identificar fragilidades na capacidade de interpretar dados com precisão
• Criar grandes volumes de dados sintéticos para testar suas aplicações de IA sob estresse
• Desenvolver algoritmos de IA Generativa que avaliem a robustez da sua aplicação ao levá-la além de seus parâmetros operacionais típicos
• Analisar suas aplicações em busca de possíveis questões éticas ou vieses no processo decisório da IA, simulando diferentes contextos demográficos e situacionais

Etapa 5: Implemente protocolos de melhoria contínua e adaptabilidade

Esta etapa envolve criar um sistema de avaliação e aprimoramento contínuos do framework de risco para IA generativa. Ela exige o estabelecimento de protocolos para revisões regulares, incorporação de feedback e adaptação a novos riscos, à medida que a tecnologia e suas aplicações evoluem.

Essa etapa garante que seu framework de risco para IA generativa permaneça relevante e eficaz diante de mudanças, como avanços em IA, alterações em padrões regulatórios ou o surgimento de novas considerações éticas.

Poderíamos escrever whitepapers completos sobre cada uma das etapas descritas acima para desenvolver seu próprio framework de risco para IA generativa. Mas os conceitos fundamentais acima dão uma visão dos passos necessários para adotar e desenvolver IA Generativa de forma segura e protegida.

Fazer isso sem esses controles e sem entendimento de risco não apenas deixa as organizações expostas, como também impede que o projeto se conecte aos objetivos do negócio e, portanto, falhe em gerar impacto.