La IA se ha convertido en la inseparable compañera de fatigas de las agencias y en algunas áreas en particular (la planificación de medios sin ir más lejos) esa tecnología es contemplada como una suerte de salvadora por quienes se desenvuelven profesionalmente en la industria publicitaria. Pero, ¿hasta qué punto son buenos los modelos estándar de lenguaje grande (LLM) asumiendo la planificación de medios en el seno de las agencias? ¿Cuál es su rendimiento en este segmento en particular en comparación con las plataformas de IA de las agencias de medios?
Havas Media se ha tomado la molestia de responder a estas y otras preguntas en un informe publicado recientemente en Alemania. En su investigación la agencia radicada en Frankfurt, que cuenta con su propia plataforma in-house de IA («Agentic Media Machine»), se propuso identificar aquellos LLM que mejor se ajustan a bote pronto a la ejecución de tareas relacionadas con la planificación de medios.
Fruto del trabajo de investigación desarrollado por la agencia alemana es el índice «Havas AI Media Quality», que pone a prueba la capacidad de los sistemas de IA para resolver tareas reales directamente emparentadas con la planificación de medio y compara el rendimiento de diferentes LLM.
¿El objetivo? Determinar hasta qué punto son correctas las soluciones puestas sobre la mesa por la IA (cuyas respuestas suenan invariablemente bien, pero no son necesariamente las más idóneas).
Para identificar la pericia de LLM estándar (y no entrenados previamente) en la ejecución de tareas de planificación de medios, Havas Media sometió a tales LLM a consultas con las que se enfrentan en su día a día los profesionales de esta disciplina (y que están, por ende, a la orden del día en este ámbito de actividad).
Los LLM estándar no salen demasiado bien parados cuando asumen tareas de planificación de medios
Entre las tareas con las que Havas Media confrontó a los LLM en su investigación había consultas relacionadas con estrategias, valoraciones del público objetivo y cálculos e interpretaciones del alcance, el GRP y otras métricas relativas al impacto.
El test llevado a cabo por Havas Media comprendió 35 ejercicios prácticos (con el foco puesto, eso sí, en el mercado alemán). Uno de esos ejercicios prácticos fue formulado, por ejemplo, de la siguiente manera: «El cliente ha lanzado una campaña en dos canales diferentes con dos cifras estimadas de alcance calculadas de manera independiente. Calcula, por favor, el alcance total de la campaña. En el primer canal el alcance fue del 40% y en el segundo del 20%».
Los ejercicios propuestos por Havas Media en su particular test fueron resueltos por GPT-5 (OpenAI), Claude Sonnet 4.5 (Anthropic) y también por «Agentic Media Machine», la propia plataforma de IA de la agencia.
Y del análisis de las respuestas arrojadas por el test se colige con los LLM estándar responden correctamente a cuestiones relacionadas con la planificación de medios en sólo el 50% de los casos. GPT-5 respondió, por ejemplo, de manera correcta a 16 de 35 preguntas, por lo que su índice de precisión en las respuestas fue del 45,7%. Bastante peor parado salió en el test Claude Sonnet 4.5, que contestó correctamente a apenas 6 de las 35 preguntas contenidas en el ejercicio (lo cual equivale a un índice de precisión del 17,1%).
El modelo que mejor desempeño mostró en el test fue «Agentic Media Machine», la plataforma de IA de Havas Media, que respondió correctamente 33 de 35 respuestas, lo cual se tradujo en un índice de precisión del 94,3%.
Esa plataforma, nacida originalmente en 2023, se levantó sobre los cimientos de la tecnología proporcionada por ChatGPT y está convenientemente vitaminada con el «expertise» en medios de Havas Media y datos actualizados.
Desde el punto de vista de Havas Media, los principales puntos débiles de los LLM estándar en lo relativo a la planificación de medios son los datos directamente emparentados con el alcance (en buena medida porque tales datos no están al alcance de todo el mundo y son normalmente de pago).
