Auditar a IA generativa.

Uma camada de controlo determinista e auditável sobre o comportamento das IAs generativas.

Parte da arquitetura publiquei-a no Zenodo com medo de que alguém se adiantasse. Mas a evolução do modelo teórico, as fórmulas, as constantes e os parâmetros de calibração estão bem guardados. E só se partilham após assinatura de NDA.

Talvez soe rude, mas estou dentro do sistema e o sistema é o que é. Goste eu ou não. Um sistema que audita os outros não tem o direito de ser também uma caixa negra. Ou perderia a razão. Procuro um equilíbrio entre a defesa da minha propriedade intelectual e o que acredito ser justo. Difícil.

DOI 10.5281/zenodo.20343912 · Zenodo · CC BY 4.0

Respondem com segurança, mesmo quando erram.

Os modelos generativos são probabilísticos. Em ambientes regulados, isso deixa quatro fendas estruturais:

Não aproveitar a potência das IAs probabilísticas por vieses no seu desenho seria, a meu ver, um erro de calibre. A solução inicial, pensada para ambientes regulados, pode aplicar-se a qualquer ciclo produtivo em que a inclusão de IA suponha uma vantagem competitiva face ao trabalho exclusivamente humano.

Também se pode extrapolar à IA agêntica e ao B2C.

Não gera. Não corrige o modelo. Audita-o.

One-Of-Us é uma IA determinista condicionada que se situa um nível acima: supervisiona, audita e confina as IAs generativas, e emite um veredicto de realidade e integridade sobre cada output.

Um só ciclo, da entrada ao veredicto.

Nenhum recebe a mesma informação: a vários nega-se ver o objeto, e julgam apenas o resultado. Cegá-los perante o estado do objeto mitiga os vieses do modelo probabilístico: assim nenhum auditor erra pelo mesmo flanco.

Esta arquitetura ficou obsoleta pelo desenvolvimento do modelo. Reservo-me o segredo industrial da proposta final.

Quatro estados. Um só, com emissor e rasto.

A lógica tetraestatal tem pedigree. Em 1977, o lógico Nuel Belnap propôs uma lógica de quatro valores —chamou-lhe «como deveria pensar um computador»— para que uma máquina pudesse raciocinar com informação incompleta ou contraditória sem se partir: verdadeiro, falso, nenhum dos dois e os dois ao mesmo tempo. ESTÁVEL, INSTÁVEL, NULO e INVÁLIDO descendem dessa estirpe: quatro veredictos para um mundo onde o dado pode faltar, sobrar ou contradizer-se. Meio século depois, a pergunta de Belnap ressurge.

Se o output não é fiável, é elevado a um supervisor humano. Nunca sai sem juízo.

Do par ao conjunto.

Primeiro tentei o óbvio: medir a covariância entre pares de modelos, para castigar os que falham em conjunto. Num ensemble múltiplo isso não serve: os pares multiplicam-se, os terceiros contaminam cada medida e o cálculo diz cada vez menos sobre o que faz o conjunto.

É mais fixe —e mais exato— penalizar o erro de toda a estratégia executada, como configuração completa, em produção ou em modo sombra. Se um alinhamento falha, essa estratégia em concreto deixa de ser elegível.

O equilíbrio e o limiar

A integridade do output tensiona-se contra um único custo. Resolvo esse dilema matematicamente, sobre uma frente de Pareto. É a única forma lógica de o fazer.

Não há nenhum número mágico para manipular. Os humanos que configuram a implementação decidem o que importa: os pesos são deles (e a responsabilidade também), e qualquer um pode ser zero. O sistema pesa as forças, devolve um único veredicto e compara-o com uma linha que eles traçaram. Abaixo dessa linha não improvisa: para e eleva a questão a uma pessoa. Determinista mesmo —sobretudo— quando te diz que não sabe.

Não melhora uma IA isolada. Melhora o conjunto.

Aprende com os seus acertos e falhas —padrões de falha detetados e validação humana— numa fase de sombra, nunca sobre o dado do cliente. Com esse sinal recompõe que componentes e em que papéis formam o pool.

O sistema tende à precisão.

Governança, não promessa.

Serendipidade. Desenhei a arquitetura sem conhecer o quadro regulatório europeu. Coincidimos em rastreabilidade (a minha é determinista, fácil) e supervisão humana estruturada.

Um varrimento da normativa internacional levou-me a acrescentar o Zero Data Retention e a emissão de subtipologias específicas de erro (falta-me decidir se isto será feito por uma IA ou por uma humana).

Infraestrutura para uma IA em que se possa confiar.

Arquitetura publicada parcialmente e validada por simulação · caminho para Prova de Conceito.