¡Cometamos nuevos errores!
Escribe Daniel Mordecki

Opinión | Un sistema de encuestas más transparente

En redes sociales, prensa y discusiones con amigos es frecuente escuchar quejas de que las encuestas tienen valores muy disímiles.

10.06.2019 20:08

Lectura: 6'

2019-06-10T20:08:00
Compartir en

En este proceso electoral se escucha una queja permanente por parte de periodistas, políticos y electores: las distintas encuestas tienen muchas diferencias entre ellas. En realidad eso es un buen síntoma: tenemos un sistema de encuestas más transparente, y producto de ello se ha reducido el efecto rebaño, ese efecto por el que todas las encuestas que se presentan se juntan en un pequeño rango.

Tomemos como ejemplo el Partido Nacional, donde dos de los principales candidatos se repiten. En 2014 las encuestas de la interna blanca los valores estaban sensiblemente más juntas unas de otras, mientras que en 2019 se aprecian rangos sensiblemente más amplios, con la excepción de los valores para Larrañaga, que sin conocer los datos crudos resulta muy difícil intentar una explicación.

Algo parecido sucede con el Partido Colorado, donde en 2014 los valores para Bordaberry y Amorín Batlle se mostraban apretados en rangos pequeños, algo que tiene bajísima probabilidad. En 2019 los rangos son realmente muy amplios.

No es que en 2014 las encuestas de la interna del Partido Colorado fueran mejores o peores que las actuales en términos generales, de hecho, con las muestras totales y la representación del Partido Colorado en las mismas, todas estaban en el entorno de 100 casos, por lo que la supuesta precisión de 2014 es matemáticamente ridícula. La situación de 2019, con tamaños muestrales en el mismo rango de los 100 casos, suena más realista.

El caso de Amorín Batlle merece un comentario especial, por lo que lo trataremos aparte.

En el Frente Amplio, la diferencia entre 2014 y 2019 parece menor que en los otros dos partidos, mirando exclusivamente los rangos en los que se encuentran los valores de todo el sistema de encuestas. De todos modos, en 2019 no desentona con la tónica general.


Otros elementos positivos

Además de que las encuestas como sistema se acercan más a lo que la matemática dice que tiene que pasar, hay otros elementos que muestran un sensible avance.

El más relevante es que en esta elección es explícito que el tamaño muestral de la interna de cada partido es pequeño, más pequeño de lo razonable, con el caso del Partido Colorado como muy crítico, con encuestas que llegan a la televisión abierta con 70 u 80 casos.

Esto, que siempre fue así, era algo que aparecía solamente en las críticas a las encuestas, y en algún que otro trabajo académico en período inter-electoral, pero jamás en la ficha técnica de una encuesta. Ahora es moneda corriente enterarse que el error teórico de una interna es de 10, 12 y hasta 14 puntos porcentuales, en más o en menos, y ver fichas técnicas que indican partido por partido el tamaño muestral. Es destacable el caso de Factum que indica el error teórico asociado al valor de cada candidato.

Un caso particularmente destacable es el de Equipos Consultores, que junto con la acción de transparencia, tomo medidas para intentar minimizar los problemas que esta deja al descubierto: aumentar sensiblemente el tamaño de las muestras, con encuestas de más de 2400 casos, algo desconocido para el sistema de encuestas de Uruguay[1], mezclando metodologías para intentar minimizar los sesgos y con una campaña pública para transmitir el verdadero potencial de análisis y predicción de las encuestas electorales como herramienta.

También es importante señalar que en muchos reportajes y notas en los que antes el encuestador explicaba en qué acertó, en qué se equivocó y por qué equivocarse lo hace aún más perfecto, los periodistas han incorporado cuestionamientos a las prácticas oscuras y las verdades a medias, tomando información de los análisis independientes y haciendo un aporte valioso a la transparencia del sistema. Sería un gran logro si este tipo de cuestionamiento llegara también a los informativos de la televisión abierta.

 

No todo es azul: Amorín Batlle y Cifra

Si se presta atención a lo que dicen los principales voceros de las empresas encuestadoras, queda bien claro que la transparencia no les agrada a todos por igual, y que está muy lejos de ser producto de un consenso corporativo. La transparencia deja al desnudo falencias y horrores metodológicos que antes se escondían en un relato edulcorado y feliz. La muestra más clara es el incidente entre Amorín Batlle y la empresa Cifra.

Si hay alguien que ha sido vapuleado por las encuestas ese es Amorín Batlle: nunca jamás ninguna encuestadora le dio un décimo de punto por encima de su votación. En particular Cifra en 2009 puso a Hierro con 18% segundo por encima de Amorín y salió exactamente al revés. En 2014 cifra de dio 16% y sacó 25%.

En marzo, Cifra publicó la siguiente encuesta de la interna del Partido Colorado, en la que Amorín Batlle no figuraba, a pesar de que al mismo tiempo Factum le daba un 17% y Equipos un 12%.

Amorín Batlle y su grupo hicieron notar su enojo por no figurar en la encuesta con una carta pública, y Mariana Pomiez, directora de Cifra, contestó en los medios. Dice El País el 12 de marzo de 2019:

"Ingresan en la sección 'otros' los que no llegan al 1% de mención, aclaró la directora de Cifra y agregó que este también fue el caso de Edgardo Martínez Zimarioff del Partido Colorado y de Carlos Iafigliola del Partido Nacional.

Para la encuesta fueron consultadas 1.002 personas mayores de 18 años ubicadas en Montevideo y el resto del país."

Haciendo una cuenta sencilla, se ve claramente que las 1002 personas consultadas son una verdad a medias:

1.    Muestra: 1002

2.    Vota en la interna: 52% = 521

3.    PC: 14% de 521 = 72 personas

Precisamente porque la muestra es casi insignificante, el error es de +/- 14 puntos porcentuales.

Y de allí se deduce que ningún candidato de la encuesta de Cifra para el Partido Colorado puede marcar menos de 1%, ¡porque habría que partir a los encuestados en pedacitos! Mariana Pomiez está tirando verde, a ver si recoge maduro.

El ejemplo de Amorín Batlle es ilustrativo, porque en 2009 o en 2014 hubiera quedado la declaración de la encuestadora como la verdad casi absoluta y la queja del senador como el chillido enojado de un perdedor. Hoy la transparencia nos permite saber que lo más probable es que sencillamente se equivocaron al pasar la encuesta a la gráfica, y que intentaron escaparse para adelante, inventando un relato florido pero de patas cortas. Si tuviéramos ley de encuestas, tendríamos acceso a los datos crudos y podríamos saberlo de forma fehaciente.

 


[1] Es cierto que hay investigaciones y sondeos con más casos, pero se trata de investigaciones que seleccionan a quienes responden en base a avisos en Facebook, por lo que formalmente no califican para ser llamadas encuestas.

ESCRIBE

Daniel Mordecki

Profesional de Usabilidad, docente universitario, apasionado por las encuestas.

Ver todas las columnas