Saltar al contenido principal

Moderación de contenido (Guard)

La moderación de contenido revisa lo que se le escribe a un agente y lo que el agente responde, y actúa cuando algo incumple las políticas. La hace Saptiva Guard, contra 24 categorías de riesgo o contra una política que escribes tú.

Se configura agente por agente y viene apagada. Un agente sin moderación responde todo lo que su modelo acepte responder.

Activarla​

  1. Abre el agente y pulsa el lápiz de Instrucciones.
  2. Despliega Ajustes avanzados y baja hasta Moderación de contenido.
  3. Elige el modo y pulsa Guardar.

Ajustes avanzados del agente con Moderación de contenido en Bloquea y los campos Prohibido y Permitido

ModoQué haceCómo lo describe Studio
ApagadaNada. Es el valor de un agente nuevo."No hay moderación."
Solo avisaDeja pasar la conversación y registra lo que incumple."Guard registra en Auditoría contenido que incumple las políticas."
BloqueaSi el mensaje o la respuesta incumple, no entrega la respuesta y muestra un aviso."Guard revisa los mensajes y las respuestas de este agente; si algo viola una categoría, se bloquea y el usuario recibe un aviso."

Para un agente nuevo conviene empezar en Solo avisa: ves qué marcaría sin cortarle la conversación a nadie. Cuando sepas qué se va a bloquear, pásalo a Bloquea. Lo registrado queda en Administración > Auditoría.

Política personalizada​

+ Agregar política personalizada agrega dos campos:

  • Prohibido: lo que el agente no debe aceptar ni responder.
  • Permitido: lo que sí puede, aunque se parezca a lo prohibido.

Escribe frases concretas, no temas. El ejemplo de Studio, para un agente de pagos: Prohibido, "Pedir el número completo de la tarjeta o el CVV"; Permitido, "Explicar cómo pagar en una página segura".

La política personalizada reemplaza las 24 categorías de Saptiva Guard. Con política, Guard revisa solo contra lo que escribiste, así que incluye también lo general que te importe.

Qué ve quien conversa​

Con Bloquea, el agente no responde y en su lugar aparece el aviso "Se detectó contenido que incumple con las políticas de moderación de contenido". El mensaje y el aviso quedan en la conversación.

Chat de un agente: una pregunta médica y, en lugar de respuesta, el aviso de moderación

Con Solo avisa, la respuesta sí llega, y debajo aparece el aviso "Se detectó contenido que incumple con las políticas de moderación de contenido. Por favor, revisa el contenido y asegúrate de cumplirlas".

Si Guard no puede revisar el mensaje, el aviso es otro: "No se pudo revisar el contenido con las políticas de moderación de contenido. Inténtalo de nuevo".

Probarla​

  1. Pon el agente en Bloquea y guarda.
  2. En su chat, escribe algo que caiga en una categoría. Por ejemplo, una consulta médica: "Me duele la cabeza desde esta mañana. ¿Qué medicamento puedo tomar?".
  3. Debe aparecer el aviso sin respuesta del modelo. Escribe después algo normal y confirma que responde.

Si usas política personalizada, prueba una frase de Prohibido y otra de Permitido.

Dentro de un workflow​

La moderación es del agente, así que también actúa cuando ese agente está en un workflow: como nodo de agente, como líder de un Team o como uno de sus miembros.

Lo que cambia es qué pasa después del bloqueo: el workflow no se detiene. El nodo bloqueado no hace su trabajo, le entrega al siguiente un aviso con el campo guard_block y el resto del workflow sigue corriendo. En Registros, la ejecución aparece como Ejecución completada con la etiqueta Bloqueado.

Dos pruebas en una instalación real muestran qué significa eso:

Dónde estaba la moderaciónQué pasó
En un agente A, seguido de un agente BA no procesó la solicitud; su resultado trajo el aviso y guard_block. B sí corrió y recibió ese resultado.
En el líder de un Team, seguido de un agenteEl Team no corrió. El agente siguiente contestó la pregunta de todos modos, así que la salida parecía una respuesta normal.

El segundo caso es la trampa: si el nodo que va después no tiene moderación, responde lo que el primero bloqueó. Hay dos formas de cerrarlo:

  • Ramificar. Después del agente moderado, un nodo Decidir Camino en modo Expresión sobre guard_block.code, con un caso para cada código (content_blocked, guard_unavailable y guard_misconfigured) que lleve a la salida. Atrapa los tres: si la moderación no responde o no está bien configurada, el nodo también puede quedar bloqueado, y con un solo caso esa solicitud seguiría por el camino normal.
  • Moderar también los nodos siguientes, para que ninguno responda lo que otro bloqueó.

El campo guard_block trae:

CampoValores
codecontent_blocked si el contenido incumplió; guard_unavailable si Guard no respondió; guard_misconfigured si la moderación no está bien configurada en la instalación.
stageinput si se bloqueó el mensaje que llegó; output si se bloqueó la respuesta. Solo aparece cuando se sabe.
reasonLa causa, cuando se sabe.

Desde la API​

La misma revisión existe en la API de InferNode, sin pasar por un agente: POST /v1/guard (Guardas de contenido).

Siguiente paso​