Muchas implementaciones de RAG se presentan como una mejora de búsqueda, pero en la práctica también heredan errores viejos: carpetas compartidas de más, grupos mal definidos, documentos duplicados y permisos que nadie ha revisado en meses. Antes de hablar de guardrails, conviene saber si el retrieval puede traer información que el usuario no debería ver. Many RAG implementations are presented as better search, but in practice they also inherit old mistakes: over-shared folders, poorly defined groups, duplicated documents and permissions nobody has reviewed in months. Before talking about guardrails, it is worth knowing whether retrieval can bring back information the user should not see.
Lo que reviso primeroWhat I check first
- Fuentes de datos conectadas al sistema.Data sources connected to the system.
- Permisos reales por usuario, grupo y rol.Actual permissions by user, group and role.
- Qué se indexa, qué se excluye y quién lo decide.What gets indexed, what is excluded and who decides.
- Logs de consulta, retrieval y respuesta.Logs for queries, retrieval and responses.
Señales de alertaWarning signs
- “Todos pueden leer esta carpeta porque así es más fácil”.“Everyone can read this folder because it is easier.”
- No hay prueba con usuarios de distintos niveles.There is no test with users at different access levels.
- El sistema guarda prompts o respuestas sin política clara.The system stores prompts or answers without a clear policy.
- Nadie puede explicar cómo se elimina una fuente.Nobody can explain how a source is removed.
Checklist mínimoMinimum checklist
Antes de producción: prueba con tres perfiles de usuario, valida que el retrieval respete permisos, revisa logs, define retención y documenta qué fuentes no deben indexarse. Before production: test with three user profiles, confirm retrieval respects permissions, review logs, define retention and document which sources must not be indexed.