Antes de añadir IA: cómo comprobar si tus datos están preparados

La disponibilidad de herramientas de inteligencia artificial facilita construir una demostración en poco tiempo. Convertirla en un servicio útil requiere más trabajo sobre los datos. Documentos contradictorios, permisos ambiguos y ejemplos mal etiquetados pueden producir respuestas convincentes que el equipo no debería utilizar. Antes de decidir qué modelo conectar, conviene comprobar qué información existe, para qué puede emplearse y cómo se detectará un resultado incorrecto en la tarea concreta que se quiere mejorar.

Define una tarea que se pueda evaluar

Evita empezar con un objetivo tan amplio como consultar todo el conocimiento de la empresa. Selecciona una tarea limitada: localizar un procedimiento vigente, clasificar una solicitud o resumir una intervención para revisión humana. Define qué respuesta sería aceptable, qué errores serían graves y cuándo el sistema debería reconocer que no dispone de información suficiente. Esta definición permite elegir datos relevantes y comprobar si la solución aporta utilidad, en lugar de valorar únicamente que sus respuestas parezcan fluidas.

Haz inventario de procedencia y vigencia

Para cada fuente, identifica propietario, origen, fecha, versión y proceso de actualización. Un documento antiguo puede seguir siendo útil como histórico y resultar peligroso como instrucción vigente. Si existen varias versiones, decide cuál debe utilizarse y cómo se retirarán las anteriores. Conserva referencias que permitan al usuario llegar a la fuente original. Cuando el sistema mezcla información de distinta fecha sin señalarlo, se vuelve difícil explicar por qué una respuesta era razonable ayer y equivocada hoy.

Mantén los permisos durante todo el recorrido

La copia de documentos a un índice o a otro almacén no debería ampliar automáticamente su audiencia. Revisa quién puede consultar cada fuente, cómo se aplican esos permisos en la recuperación y qué ocurre al cambiar una asignación. Incluye registros, cachés y herramientas conectadas en el análisis. Un usuario no debería obtener por una respuesta generada información que no podría abrir en su ubicación original. Verifica ese comportamiento con cuentas de prueba y conjuntos que contengan restricciones diferentes.

También conviene reducir la información enviada al sistema a lo necesario para la tarea. Los entornos de prueba no necesitan copiar indiscriminadamente expedientes o conversaciones reales. Utiliza ejemplos sintéticos cuando sirvan para evaluar el comportamiento y reserva muestras reales autorizadas para comprobaciones que lo requieran. Acuerda con las personas responsables de seguridad y privacidad el uso, conservación y tratamiento de datos en cada componente antes de ampliar el piloto.

Prepara ejemplos que revelen limitaciones

Un conjunto de evaluación debe incluir casos fáciles, ambiguos y fuera de alcance. Para un asistente de procedimientos, prepara preguntas sobre una instrucción vigente, otra retirada, un documento inexistente y dos fuentes que se contradicen. Revisa si cita la fuente correcta y si distingue evidencia de una inferencia. El marco de gestión de riesgos de IA del NIST propone una visión continua de identificación, medición y gestión del riesgo. Esa perspectiva ayuda a tratar la evaluación como una actividad mantenida durante el uso.

• Reúne casos representativos de la tarea y define el resultado esperado.
• Añade preguntas sin respuesta y ejemplos con información contradictoria.
• Prueba que las restricciones de acceso se mantienen al recuperar información.
• Registra la versión de fuentes, configuración y sistema evaluados.
• Asigna revisión humana a resultados cuyo error tenga consecuencias relevantes.

Mide el proceso completo

La calidad de la respuesta depende de más elementos que el modelo: extracción, fragmentación, búsqueda, selección de contexto y presentación. Si el sistema no encuentra el documento correcto, cambiar la redacción de la instrucción puede no resolver el problema. Registra en qué etapa falla cada caso y compara mejoras con el mismo conjunto de evaluación. Comprueba además tiempo de respuesta y trabajo de revisión. Una respuesta rápida que exige reconstruir toda la evidencia puede ahorrar menos tiempo del que parece.

Establece criterios para ampliar o detener el piloto

Acuerda de antemano qué resultados permiten ampliar el uso y qué fallos obligan a corregir el sistema. Incluye una vía para que usuarios comuniquen errores y una persona que valore su impacto. Define qué hacer cuando una fuente deja de actualizarse o cambia de permisos. Un piloto limitado puede ser valioso aunque concluya que faltan datos o que la tarea necesita otro enfoque. Esa evidencia evita extender una demostración atractiva a decisiones para las que todavía no está preparada.

Preparar los datos para IA significa hacerlos comprensibles, utilizables y evaluables para un propósito concreto. Es un trabajo que también mejora búsquedas e informes convencionales. Cuando las fuentes tienen responsables y versiones, los permisos se conservan y los errores se revisan con ejemplos, el equipo dispone de una base más sólida para decidir dónde la automatización merece seguir avanzando.