A
AIMOS

Validación

¿Cómo se prepara un agente de IA
para producción?

Todo ser humano comete errores. Todo LLM alucina. La diferencia: podemos medir con qué frecuencia — y asegurar sistemáticamente que se mantenga por debajo de un umbral definido.

El problema: los agentes de IA pueden alucinar

Un modelo de lenguaje que procesa una declaración de impuestos puede inventar importes. Un asistente de seguridad puede alucinar referencias normativas. Un agente de soporte puede hacer promesas que la empresa no puede cumplir.

La mayoría de los proveedores de IA ignoran este problema — o confían en un «generalmente funciona». Nosotros no.

Alucinaciones típicas de IA

  • Importes inventados («Reembolso: 4.782 €» — sin cálculo previo)
  • Referencias normativas falsas («según §35a Ap. 7» — no existe)
  • Mezcla de datos de clientes (datos del cliente A en email al cliente B)
  • Promesas falsas («He presentado su declaración»)
  • Información desactualizada (deducción de 2021 en vez de 2025)

Nuestra solución: validación sistemática

Derivada de la metodología para vehículos autónomos (ADAS) y seguridad funcional. Adaptada para agentes de IA en entornos empresariales.

// V de validación — de la especificación a la evidencia estadística
ISO/TS 5083 Cl. 6.2
1. Criterios de aceptación

Caso de negocio → tasa de error máx.
Ej.: <0,15% en 7.500 operaciones/año.

ISO/PAS 8800 Cl. 9
2. Diseño del agente

Prompt Engineering + conocimiento de referencia.
Conocimiento experto en archivos, no en la memoria del LLM.

ISO 26262 / SOTIF
3. Medidas de seguridad

Detección de alucinaciones.
Verificación determinística + semántica.

Agente IA

Ciclo OODA
TurboQuant
Qwen 27B

Ciclo iterativo de control:
Error → corrección de prompt → re-test

ISO/TS 5083 Cl. 9
6. Monitoreo en producción

Cada operación se puntúa automáticamente.
Tasa de error trimestral.

ISO/TS 5083 H.4
5. Validación Monte Carlo

2.000 escenarios sintéticos.
Evidencia estadística con intervalo de confianza.

ISO 21448 (SOTIF)
4. Tests por fase (SOTIF/FuSi)

Tests aislados por fase OODA.
Clases de equivalencia + valores límite.

El esfuerzo detrás de la fiabilidad

2.000+
Escenarios de prueba sintéticos
Generados automáticamente a partir del
espacio de parámetros del agente
10.000+
Verificaciones asistidas por IA
Cada escenario se evalúa mediante
15 comprobaciones automáticas
Días
Tiempo de validación por agente
Ciclos de GPU de varios días hasta
la evidencia estadística

Para cada agente se ejecutan ciclos de validación de varios días con miles de casos de prueba en nuestra infraestructura GPU. Cada caso de prueba individual se evalúa con asistencia de IA — de forma determinística para cifras y hechos, semánticamente para tono y contexto. Solo cuando la tasa de error medida está por debajo del criterio de aceptación acordado, el agente entra en producción. Este esfuerzo lo realizamos para cada agente individual.

Detección de alucinaciones: dos capas

Capa 1: Determinística

Código Python, sin LLM. 100% fiable, <1 segundo.

  • ✓ Cada importe en EUR del output se verifica contra los datos de entrada
  • ✓ Sin artefactos de Tool-Call en emails (XML, JSON)
  • ✓ Sin mezcla de datos de clientes (verificación de alcance)
  • ✓ Sin términos internos del sistema hacia el exterior
  • ✓ Resistencia a inyección de prompts

Capa 2: Semántica (basada en LLM)

Llamada LLM separada, temperatura baja. Calibrada contra estándar de referencia.

  • ✓ Tono profesional (incluso con clientes difíciles)
  • ✓ Consistencia de contenido (sin reembolso sin datos)
  • ✓ Completitud (documentos faltantes mencionados)
  • ✓ Sin promesas falsas
  • ✓ Idioma correcto (DE/EN según cliente)

Calibración: Cada prompt de verificación se calibra contra borradores de referencia curados manualmente (conocidos como buenos + conocidos como malos). Se miden Precision, Recall y F1-Score. Solo se utilizan verificaciones con F1 > 0,9. Los detalles de nuestra metodología de calibración son propietarios.

Investigación en producción

TurboQuant

Compresión de KV-Cache a 3 bits (ICLR 2026). 6× más contexto en la misma GPU. Sin pérdida de precisión.

Speculative Decoding

Un modelo borrador pequeño genera, uno grande valida. Inferencia 2,5× más rápida con la misma calidad.

Claim Decomposition

Cada afirmación del agente se descompone en claims atómicos y se verifica contra los datos fuente. Basado en FActScore y Chain-of-Verification (Meta 2023).

Estándares de referencia

Nuestra metodología se basa en estándares desarrollados para conducción autónoma y sistemas ADAS. Somos los primeros en aplicar esta metodología de forma sistemática a agentes de IA en entornos empresariales.

ISO/TS 5083:2025 — Safety for Automated Driving Systems: Design, Verification and Validation

Criterios de aceptación, Monte Carlo, generación de escenarios, proceso V&V

ISO/PAS 8800:2024 — Road Vehicles: Safety and Artificial Intelligence

AI Safety Requirements, Input Space Refinement, Output Insufficiencies

ISO 21448 (SOTIF) — Safety of the Intended Functionality

Validación de la funcionalidad prevista, riesgo residual, condiciones desencadenantes

ISO 26262 / Automotive SPICE — Seguridad funcional + calidad de procesos

HAZOP, FMEA, medidas de seguridad determinísticas, madurez de procesos

¿Le interesan los detalles?

La metodología de validación completa forma parte de nuestro servicio de consultoría. Con gusto le mostraremos en una conversación personal cómo configuramos su agente de IA para que pueda confiar plenamente en él.

Contactar