Auditar la IA generativa.
Una capa de control determinista i auditable sobre el comportament de les IAs generatives.
Part de l'arquitectura la vaig publicar a Zenodo per por que algú s'avancés. Però l'evolució del model teòric, les fórmules, les constants i els paràmetres de calibratge estan ben guardats. I només es comparteixen després de signar un NDA.
Potser sona borde, però soc dins el sistema i el sistema és el que és. M'agradi o no. Un sistema que audita els altres no té dret a ser també una caixa negra. O perdria la raó. Busco un equilibri entre la defensa de la meva propietat intel·lectual i el que crec just. Difícil.
Responen amb seguretat, encara que s'equivoquin.
Els models generatius són probabilístics. En entorns regulats, això deixa quatre esquerdes estructurals:
No aprofitar la potència de les IAs probabilístiques per biaixos en el seu disseny seria, al meu entendre, un error de calibre. La solució inicial, pensada per a entorns regulats, es pot aplicar a qualsevol cicle productiu en què la inclusió d'IA suposi un avantatge competitiu respecte del treball exclusivament humà.
També es pot extrapolar a la IA agèntica i al B2C.
No genera. No corregeix el model. L'audita.
One-Of-Us és una IA determinista condicionada que se situa un nivell per sobre: supervisa, audita i confina les IAs generatives, i emet un veredicte de realitat i integritat sobre cada output.
Un sol cicle, de l'entrada al veredicte.
Cap no rep la mateixa informació: a diversos se'ls nega veure l'objecte, i jutgen només el resultat. Encegar-los davant l'estat de l'objecte mitiga els biaixos del model probabilístic: així cap auditor no s'equivoca pel mateix flanc.
Aquesta arquitectura ha quedat obsoleta pel desenvolupament del model. Em reservo el secret industrial de la proposta final.
Quatre estats. Un de sol, amb emissor i traça.
Supera totes les proves. L'output és fiable.
→ s'alliberaFallada semàntica, de governança o adversarial.
el veta un LLMAfirma dades que no són a l'objecte original.
l'emet BoolM1Incompleix el format o l'estructura exigits.
l'emet BoolM2La lògica tetraestatal té pedigrí. El 1977, el lògic Nuel Belnap va proposar una lògica de quatre valors —en va dir «com hauria de pensar un ordinador»— perquè una màquina pogués raonar amb informació incompleta o contradictòria sense trencar-se: veritable, fals, cap dels dos i tots dos alhora. ESTABLE, INESTABLE, NUL i INVÀLID descendeixen d'aquesta nissaga: quatre veredictes per a un món on la dada pot faltar, sobrar o contradir-se. Mig segle després, la pregunta de Belnap ressorgeix.
Si l'output no és fiable, s'eleva a un supervisor humà. Mai no surt sense judici.
Del parell al conjunt.
Primer vaig intentar l'obvi: mesurar la covariància entre parells de models, per castigar els que fallen alhora. En un ensemble múltiple això no serveix: les parelles es multipliquen, els tercers contaminen cada mesura i el càlcul diu cada cop menys sobre el que fa el conjunt.
És més guai —i més exacte— penalitzar l'error de tota l'estratègia executada, com a configuració completa, en producció o en mode ombra. Si una alineació falla, aquella estratègia en concret deixa de ser elegible.
L'equilibri i el llindar
La integritat de l'output es tensa contra un únic cost. Resolc aquest dilema matemàticament, sobre un front de Pareto. És l'única manera lògica de fer-ho.
No hi ha cap número màgic per trampejar. Els humans que configuren la implementació decideixen què importa: els pesos són seus (i la responsabilitat), i qualsevol pot ser zero. El sistema pesa les forces, retorna un únic veredicte i el compara amb una línia que van traçar ells. Per sota d'aquesta línia no improvisa: s'atura i ho eleva a una persona. Determinista fins i tot —sobretot— quan et diu que no ho sap.
No millora una IA aïllada. Millora el conjunt.
Aprèn dels seus encerts i errors —patrons de fallada detectats i validació humana— en una fase d'ombra, mai sobre la dada del client. Amb aquest senyal recompon quins components i en quins rols formen el pool.
El sistema tendeix a la precisió.
Governança, no promesa.
Serendipitat. Vaig dissenyar l'arquitectura sense conèixer el marc regulador europeu. Coincidim en traçabilitat (la meva és determinista, fàcil) i supervisió humana estructurada.
Un escombratge de la normativa internacional em va portar a afegir el Zero Data Retention i l'emissió de subtipologies específiques d'error (em queda per decidir si això ho farà una IA o una humana).
Infraestructura per a una IA en què es pugui confiar.
Arquitectura publicada parcialment i validada per simulació · camí a Prova de Concepte.
Ull! El botó et porta, òbviament, a PayPal. El botó és un enllaç simple (paypal.me). No hi poso cap widget amb codi de PayPal. No vull les teves dades, de veritat. Què passa —i què NO passa— amb les teves dades si dones →