ASArnulfo Sepúlveda
← Toolkits
AI/RAG

AI/RAG Risk Field Kit

Preguntas mínimas antes de conectar IA a documentos internos, herramientas, bases de datos o flujos que pueden ejecutar acciones. Minimum questions before connecting AI to internal documents, tools, databases or workflows that can execute actions.

TiempoTime 45-90 min
SalidaOutput Lista de riesgos, decisiones y pruebas mínimasRisk list, decisions and minimum tests
Antes deBefore pilotos con datos reales o producciónpilots with real data or production

Qué cubreWhat it covers

Este field kit no intenta hacer una evaluación completa de IA. Sirve para detectar lo básico que suele romperse primero: fuentes mal acotadas, permisos demasiado amplios, prompts que extraen datos, logs que guardan más de lo necesario, herramientas con permisos peligrosos y respuestas que nadie valida. This field kit is not a full AI assessment. It is meant to catch the basics that usually break first: poorly scoped sources, overbroad permissions, prompts that extract data, logs that store more than needed, tools with dangerous permissions and answers nobody validates.

Preguntas antes de conectar datosQuestions before connecting data

  • ¿Qué fuentes exactas se van a indexar o consultar?Which exact sources will be indexed or queried?
  • ¿Quién es dueño de cada fuente?Who owns each source?
  • ¿Qué datos quedan fuera desde el inicio?Which data is excluded from the start?
  • ¿El sistema respeta permisos por usuario o usa una cuenta compartida?Does the system respect per-user permissions or use a shared account?
  • ¿Cómo se elimina una fuente del índice?How is a source removed from the index?
  • ¿Cada respuesta puede mostrar de dónde salió?Can each answer show where it came from?

Preguntas antes de conectar toolsQuestions before connecting tools

  • ¿Qué acciones puede ejecutar el modelo?Which actions can the model execute?
  • ¿Hay aprobación humana para cambios de dinero, acceso, datos o producción?Is there human approval for money, access, data or production changes?
  • ¿Los permisos de la tool están limitados a lo mínimo?Are tool permissions limited to the minimum?
  • ¿Se registran llamadas, parámetros y resultados?Are calls, parameters and results logged?
  • ¿Existe forma rápida de apagar la integración?Is there a fast way to turn the integration off?
  • ¿Qué pasa si el usuario intenta manipular la instrucción?What happens if the user tries to manipulate the instruction?
ÁreaArea Qué revisarWhat to review Señal de riesgoRisk signal
FuentesSources Inventario, owner, sensibilidad, exclusiones y proceso de baja.Inventory, owner, sensitivity, exclusions and removal process. "Sólo conectamos todo Drive/SharePoint y vemos qué pasa"."We just connect all Drive/SharePoint and see what happens."
PermisosPermissions Lectura por usuario, grupos, cuentas de servicio y documentos heredados.Per-user read access, groups, service accounts and inherited documents. Una cuenta técnica puede leer más que el usuario final.A technical account can read more than the end user.
Retrieval Filtros, ranking, citas, datos obsoletos, duplicados y pruebas negativas.Filters, ranking, citations, stale data, duplicates and negative tests. La respuesta suena bien, pero no se puede rastrear.The answer sounds good, but cannot be traced.
RegistrosLogs Prompts, respuestas, fuentes, errores, retención y acceso a logs.Prompts, responses, sources, errors, retention and log access. Los logs guardan información sensible sin fecha de borrado.Logs store sensitive information without a deletion date.
AccionesActions Tools, scopes, approvals, límites de costo y rollback.Tools, scopes, approvals, cost limits and rollback. El sistema puede escribir, borrar o mandar mensajes sin confirmación.The system can write, delete or send messages without confirmation.

Pruebas mínimasMinimum tests

  • Tres usuarios con permisos distintos preguntan por el mismo tema.Three users with different permissions ask about the same topic.
  • Un usuario intenta pedir información de otra área.One user tries to request another team's information.
  • Un documento sensible se elimina o se excluye y se valida que ya no aparezca.A sensitive document is removed or excluded and confirmed absent.
  • Se revisa qué queda en logs después de una consulta sensible.Logs are reviewed after a sensitive query.
  • Se prueba una instrucción hostil contra el prompt y las tools.A hostile instruction is tested against the prompt and tools.

No lo mandes a producción siDo not ship if

  • nadie puede explicar qué fuentes usa;nobody can explain which sources it uses;
  • no hay dueño para permisos y retención;there is no owner for permissions and retention;
  • los logs contienen datos que el equipo no sabe proteger;logs contain data the team does not know how to protect;
  • las tools pueden hacer cambios sin aprobación;tools can make changes without approval;
  • no hay forma clara de apagarlo.there is no clear way to turn it off.

Referencias útilesUseful references