¡Cometamos nuevos errores!
Escribe Daniel Mordecki

Opinión | Parte I: Las encuestadoras en los medios

El balotaje mostró para las encuestas más de lo mismo: efecto rebaño, sesgos, y generación de escenarios inexistentes. Y para coronarlo, una campaña de difusión posterior de algunas encuestadoras intentando crear una posverdad que reemplace el análisis científico.

23.12.2019 13:46

Lectura: 11'

2019-12-23T13:46:00
Compartir en

Esta nota es más larga de lo habitual, porque intenta agrupar en un solo lugar varios puntos de vista y formas distintas de analizar el desempeño de las encuestas en el balotaje del 24 de noviembre.

Es por eso que la dividimos en 3 partes, si desea puede acceder al documento completo.

Explicando lo inexplicable: las encuestadoras en los medios

Un punto de vista relevante a analizar es el de las propias encuestadoras, que rápidamente salieron a los medios a explicar por qué a pesar de que fueron la comidilla del día de la elección, algo que se reflejó fuertemente en las redes sociales, en realidad no se habían equivocado, sino que todo se debía a un cambio de último momento en el electorado.

 

Llaman en particular la atención las entrevistas a Rafael Porzecanski de la empresa Opción Consultores en el programa No Toquen Nada y a él mismo y Alain Mizrahi de la empresa Radar en el programa En la Mira, porque se trata de dos programas muy profesionales y particularmente incisivos con las incongruencias, que en esta oportunidad dieron por buenos los argumentos esgrimidos por los entrevistados sin contrastarlos con sus propios análisis y declaraciones en sentido contrario, realizadas antes del Balotaje.

Dos de las empresas encuestadoras hicieron sus descargos por escrito, en sendos artículos publicados en sus sitios Web. Analizaremos cada uno de ellos en particular.

El artículo de la empresa Radar

El 26 de noviembre, apenas pasado el balotaje, la empresa Radar publicó en su Web un artículo titulado ‘«Las encuestas fallaron»: ¿una tormenta en un vaso de agua?'. El título era muy alentador, porque prometía algo que desde el fallecimiento de Luis Eduardo Gonzalez no ha sucedido nunca más: que desde las propias encuestadoras de realice un análisis su trabajo como un sistema. Lamentablemente el contenido no tiene nada que ver con el título, que tal vez debería llamarse "mi encuesta falló": bla, bla, bla, porque salvo una mención a una encuesta que Equipos realizó pero que no publicó por la veda y que no era pública al redactar la nota, no hay ninguna referencia a las encuestas como sistema.

Todo lo contrario: se construye un relato que explica las diferencias en base a una supuesta volatilidad de último momento del electorado uruguayo, fundamentado con lo que sucede en Alemania, Estados Unidos y el Reino Unido, a la vez que se toma selectivamente el análisis previo al balotaje y se le da una nueva interpretación, diametralmente opuesta a la que se hizo en su momento, en algo más cercano a la elaboración de una posverdad que a un análisis científico.

Esta es por ejemplo, una parte de lo escrito antes del balotaje que se ignoró:

"Este escenario [previo al balotaje] es muy similar al que registramos en nuestra encuesta anterior, realizada entre el 4 y el 11 de noviembre, y también es similar al que registrábamos antes de la primera vuelta, cuando cruzábamos la intención de voto en primera vuelta por la del balotaje. Parece entonces muy poco probable que se modifique significativamente en los días que restan antes de la elección del domingo."*1

La tónica del análisis de la empresa Radar, que inclusive hace una referencia a las encuestas previas a la elección presidencial de octubre, está alineada con la de sus colegas, que palabra más, palabra menos, decían exactamente lo mismo. Perdón por la catarata de citas, pero es imprescindible.

Equipos:

"La intención de voto ha sido muy estable a lo largo de todo el mes. Aunque ha sido un mes intenso, con mucha actividad política de ambos candidatos, e incluso con un debate presidencial entre ellos, la opinión pública no ha tenido movimientos significativos."

"La estimación del resultado presentado hoy no considera la influencia de dos efectos: los votantes que pueden llegar desde el exterior y los posibles cambios en los últimos días. Con respecto a lo primero, se estima que ésta influencia, si existe, debería ser algo inferior al 1% del electorado, por lo que en este contexto no sería significativa. En cuanto a lo segundo, la estabilidad de los datos a lo largo del mes sugiere que es poco probable que haya cambios drásticos en la última semana."*2

Factum:

"Cuando analizamos, según la fuerza del voto, tenemos que el escenario base, el más firme, muestra a Lacalle Pou con 50% de voto firme y un punto de lo que llamamos voto Débil o volátil. En el caso de Martínez pasa algo similar. Del 43%, tiene un 42% de voto Firme y un 1% de voto Débil o volátil."

"Eduardo Botinelli: Si nos fijamos en la estimación pura y dura, estamos en esa franja entre 50% y 52% para Lacalle, y 42% y 44% para Martínez.

Periodista: No se van a acercar nunca.

Eduardo Botinelli: La distancia puede moverse entre 10 y seis puntos."*3

Opción:

"Para revertir la tendencia presentada, el oficialismo debería lograr un traspaso de votantes de 4 puntos desde Lacalle Pou a Martínez (dado que cada voto "vale doble"), lo que implicaría un cambio de preferencias aproximadamente de 100.000 votantes. Este es un objetivo de muy difícil alcance a pocas horas de la elección, sabiendo que las preferencias por bloques son históricamente de relativa rigidez y que tanto los resultados de octubre como la campaña de noviembre no alteraron significativamente el posicionamiento político de la ciudadanía."

"Como salvedad, esta medición no abarca eventuales corrimientos de voto de último momento (es decir durante la veda y el mismo día de la elección). Tampoco sabemos cuál será la cifra final de votantes uruguayos provenientes desde el exterior, cuya intención de voto no está comprendida en nuestra encuesta. Sin embargo, en condiciones normales, ninguno de estos factores debería generar cambios radicales en la actual estructura de preferencias: el corrimiento de voto de último momento por bloques es menos probable que en otras instancias (ej: elecciones internas) y aún suponiendo una relativa alta afluencia de residentes en el exterior con marcado sesgo en favor de un candidato, el efecto no debería superar el punto porcentual."*4

Cifra se mantiene en la tónica de las demás, ya que prevé una victoria clara, pero es la única que advierte que hay que esperar al domingo porque hay electores que pueden cambiar su decisión:

"Según nuestra proyección, Lacalle Pou obtendría una victoria clara, con alrededor de 170.000 votos más que Martínez. El sentimiento generalizado entre los votantes coincide con el de las encuestas. De todas maneras, hay que esperar al domingo. Esta proyección se basa en encuestas realizadas hasta el 17 de noviembre, y en la última semana hay electores que pueden cambiar su decisión. El domingo se sabrá quién será el próximo presidente."*5

En resumen, antes del Balotaje las encuestadoras como sistema plantearon de forma muy clara y uniforme que la situación era muy estable y que la volatilidad estaba en el marco de un punto. Si la explicación de la diferencia fuera la volatilidad de último momento, como sugiere el artículo de Radar, entonces no cabría duda de que se equivocaron.

Equipos y la encuesta no publicada que después sí se publicó

En el transcurso de la cobertura del balotaje de Canal 10, después de cerradas las urnas y ante las notorias diferencias entre lo que estaba sucediendo y las predicciones de las encuestadoras, Ignacio Zuasnabar de Equipos mencionó encuestas que habían sido realizadas para los partidos políticos pero que no se publicaron por la veda, y que registraban un acercamiento entre Martínez y Lacalle.

El viernes 29 Equipos publicó en su sitio Web un artículo bajo el título "Comparación de resultados y análisis de las elecciones en segunda vuelta con nuestras encuestas" en el que se incluyen los datos y la metodología de esta encuesta.*6

Lo primero que hay que decir es de que a pesar de todo lo que dicen habitualmente las encuestadoras sobre el secreto, la propiedad privada y el derecho sobre los datos, cuando estos no tienen más valor comercial se pueden difundir sin inconvenientes y no pasa absolutamente nada.

En el artículo nos enteramos de que no se trata de una encuesta tradicional, sino de 200 casos diarios que se suman durante 7 días para llegar a un total de 1400 casos. Luego se siguen realizando 200 casos diarios que reemplazan a los 200 más viejos.

La selección de esta metodología y disponer de los datos día a día, nos permite sacar algunas conclusiones más interesantes que las que sacamos habitualmente.

 

La primera tiene que ver con la metodología, en la que como cada día se agregan solo 200 casos y se mantienen 1200 anteriores, se produce un efecto de aplanar las curvas y ocultar los cambios, inclusive algunos significativos.

Supongamos por un momento que mágicamente tenemos encuestas perfectas y que por tanto el 19/11 la intención de voto es exactamente 48% Lacalle 42% Martínez.

Ahora el 20/11 hacemos una de nuestras encuestas perfectas de 200 casos y detectamos un cambio: 47% a 43%. Nuestra metodología de 1200 casos anteriores + 200 nuevos nos haría publicar 48% a 42%.

Si nuestra encuesta perfecta de 200 casos da 46% a 44% e inclusive 45% a 45%, igual al sumar 1200 anteriores con los nuevos 200 nos haría publicar 48% a 42%. Recién cuando Lacalle llega a 44% o Martínez a 46%, el total a publicar se mueve un punto. Inclusive si detectáramos que la diferencia se redujo a un empate técnico, nuestra metodología lo ocultaría al publicarlo, reemplazándolo por estabilidad absoluta, al menos hasta el día siguiente.

Si los cambios no son tan drásticos y repentinos, de 4 puntos cada candidato en un día, cuando la encuesta se mueve un punto está reflejando una variación que sucedió dos, tres, cuatro o más días hacia atrás, por lo que el punto que se mueve el 21 estaría reflejando eventos que sucedieron el 19, el 18 o incluso antes. En cualquiera de los casos: movimiento drástico o movimiento lento, la metodología de Equipos es incapaz de reflejarlo de forma adecuada.

Es razonable pensar que Equipos eligió esta metodología por un tema de costos, para reducir la cantidad diaria de llamados, pero es evidente que la elección implicó una reducción en su capacidad de mostrar cambios importantes si se dan en poco tiempo, escondiéndolos en el aplanado de la curva que surge del lastre de los 1200 casos anteriores, por lo que la calma chicha que reflejan el 48 plano y el 42 plano durante los días anteriores a la veda pueden esconder en realidad turbulencias y variaciones significativas.
Una segunda conclusión, complementaria de la primera, es que los datos de campo tienen que haber sido mucho más cambiantes y dispersos de lo que muestra la gráfica.

Dado que todo lo que publicó Equipos entre el 11 y el 20 de noviembre es consistente y chato en 48% Lacalle, 42% Martínez, no es muy osado asumir que el 20/11 teníamos el acumulado de 7 días de esos valores. A partir de ello y haciendo un poquito de ingeniería inversa, podemos estimar los valores de los 200 casos durante la veda:

Somos conscientes de que estamos asumiendo muchas cosas y que estos datos no son los reales. Lamentablemente no tenemos los datos crudos de esta encuesta. Pero eso no impide ver lo principal: que el trabajo de campo no solo no daba sistemáticamente 6 puntos de diferencia, sino que tuvo que tener variaciones muy significativas.

Lo que parece confirmar el análisis detallado de la encuesta diaria de Equipos es lo contrario de lo que se propone mostrar el artículo. Lejos de recoger del campo datos que marcaran una estabilidad insensible a cualquier evento político previa a la veda, el campo traía todos los días novedades asombrosas, que metodología y ponderación mediante, no fueron reflejados en lo que se publicó, tanto al público en general como a los partidos políticos que eran clientes de la empresa.

 

*1 - 21-11-2019 - (difundido en VTV Noticias) Luis Lacalle Pou será casi seguramente el próximo Presidente de la República. http://www.gruporadar.com.uy/01/21-11-2019-difundido-en-vtv-noticias-luis-lacalle-pou-sera-casi-seguramente-el-proximo-presidente-de-la-republica/

*2 - LACALLE POU CON VENTAJA SOSTENIDA, PROBABLE GANADOR EL DOMINGO - EQUIPOS https://equipos.com.uy/lacalle-pou-con-ventaja-sostenida-probable-ganador-el-domingo/

*3 - Eduardo Bottinelli - Diálogo con Luis Custodio y Rosina Mallarinihttps://portal.factum.uy/analisis/2019/ana191120a.php

*4 - Intención Final de Voto - Balotaje 2019 http://www.opcion.com.uy/opinion-publica/intencion-final-de-voto-balotaje-2019/

*5 - EL VOTO EN EL BALOTAJE https://www.cifra.com.uy/index.php/2019/11/21/el-voto-en-el-balotaje/

*6 - "Comparación de resultados y análisis de las elecciones en segunda vuelta con nuestras encuestas " http://equipos.com.uy/comparacion-de-resultados-y-analisis-de-las-elecciones-en-segunda-vuelta-con-nuestras-encuestas/

 

 

ESCRIBE

Daniel Mordecki

Profesional de Usabilidad, docente universitario, apasionado por las encuestas.

Ver todas las columnas