Encuestas de verdad

Matemática sí o sí

La posibilidad de que consultando solamente 1000 (1) personas obtengamos una orientación útil sobre la opinión de una población de millones tiene un único fundamento y este fundamento no es ni sociológico ni politológico, es matemático. Una serie de teoremas que el fantástico Adrian Paenza explica con su simplicidad y precisión características en el artículo "Todo lo que usted debería saber sobre encuestas y no se le había ocurrido preguntar". Si no se respetan los requisitos (hipótesis) que imponen esos teoremas, todo el árbol de razonamientos se derrumba.

La matemática es así de fría, dura e insensible. Y también un poco prepotente: si la sociología decide utilizar sus servicios debe atenerse a sus reglas. Una encuesta puede vanagloriarse de su pronóstico y su margen de error si y solo sí (disculpen el lenguaje matemático) cumple estrictamente con las hipótesis requeridas.

Acá empiezan los problemas: la selección de encuestados debe ser absolutamente al azar y esto es prácticamente imposible. Las respuestas deben ser exactas, y los encuestados dudan, ocultan y hasta mienten.
Los planes de encuestas perfectas se derrumban por la lluvia, las inasistencias de encuestadores, los costos excesivos y miles de otros problemas. Todo el arte de la empresa encuestadora, toda su habilidad y experiencia así como toda su seriedad, reside en su capacidad para dar solución a estos problemas. Acercarse lo más posible a las hipótesis del modelo teórico. Cada milímetro de terreno que cede hace que su encuesta se transforme más y más en una elucubración de oficina.

Nos hemos aburrido de escuchar que las encuestas son un problema sociológico que escapa a nuestros cálculos inhumanos, que razonamos de una forma muy tosca o que si saliéramos a hacer trabajo de campo cambiaríamos de opinión.

Lamento defraudarlos: toda la magia de las encuestas está cimentada en la matemática y debe ceñirse estrictamente a sus hipótesis. También la de las elecciones municipales, naturalmente.

+/-3% requiere 1000 encuestados

Consideremos una ficha técnica típica de una encuestadora para las elecciones internas 2014: muestra de 1000 casos y margen de error de +/-3%.

Hagamos zoom en el problema de decidir un partido, por ejemplo el Partido Nacional. Los votantes efectivos del Partido Nacional representaron un 15.6% del total de habilitados, eso quiere decir que si la encuesta fue seria deberían haber recogido en el entorno de 156 opiniones sobre la interna del nacionalismo. Ergo: no tienen +/-3% de margen de error, sino +/-8%.

El mismo razonamiento vale para el Frente Amplio, con unos 110 encuestados y un margen de error de +/-10% y para el Partido Colorado con solamente 50 encuestados y un margen de error de ¡+/-14%!

Es a todas luces evidente que la ficha técnica no se ajusta a la verdad y las causas no son ni sociológicas, ni se deben a que los encuestados mienten, ni a la tendencia de los colorados a no contestar encuestas. Para el margen de error que publican deberían haber hecho cientos o miles encuestas adicionales. Y sin embargo lo publicaron igual.

Ahora que se acercan las municipales el tema viene a cuento, porque plantean el mismo desafío: fraccionamiento entre los distintos departamentos y fraccionamiento entre candidatos dentro de cada partido.

Las encuestas de verdad

Si bien nos quieren hacer creer que una encuesta es una herramienta que puede predecir al electorado con precisión de decimales, la realidad es que una encuesta bien hecha solo puede dar una idea del valor con un razonable piso de +/-5 puntos que suman los sesgos inevitables de la muestra al error estadístico.

Una encuesta es una linterna que alumbra en una dirección, y no un laser que marca un punto preciso en la distancia.

Al combinar varias encuestas, con diferentes métodos de muestreo, lo esperable es que los pronósticos sigan este patrón y se abran de forma amplia en rangos de aproximadamente diez puntos, y que el valor real de la elección caiga en algún punto dentro del rango. Exactamente lo mismo es válido para una serie histórica de valores de una encuestadora.

Desde 1999 a la fecha, la única vez que se dio en Uruguay una distribución asimilable a este tipo fue en las elecciones internas de 2009:



En todas las demás elecciones los pronósticos para al menos un candidato se juntan muy pegados en un intervalo pequeño, de 4 o 5 puntos, y el valor real está fuera del rango.

Por ejemplo, en las internas de 1999 los 5 pronósticos de votos para Hierro López (PC) caen en un apretado rango que va de 47% a 51%. La votación real fue 43%. Todos los pronósticos quedaron por arriba del valor real. Otro ejemplo: en las internas 2014 los 6 pronósticos para Lacalle Pou no se abren 10 puntos (2), sino apenas cuatro: 45% a 49%. La votación real fue 54%, con lo que todos los pronósticos quedaron por abajo.

En las encuestas de verdad, estas cosas tienen probabilidad de uno en millones, o lo que es lo mismo, prácticamente no suceden.

Y es por eso que podemos afirmar que en Uruguay estamos muy lejos de tener un sistema de encuestas de verdad. Los datos históricos respaldan esta afirmación. Si tomamos todos los actos electorales de 1999 a la fecha, las encuestadoras tuvieron que realizar 41 pronósticos. En 22 de los 41 casos quedaron todos los pronósticos por arriba o por abajo. Que esto suceda una vez es muy raro, que suceda dos es mucho más difícil aún, pero que suceda la mitad de las veces es absolutamente imposible. Podemos estimar su probabilidad en un número que tiene cien ceros después de la coma decimal, antes de la primer cifra significativa.

Perlas televisivas

Corre un mito popular de que las encuestadoras que trabajan para la televisión (Cifra, Equipos y Factum) son las realmente serias. Sin embargo, algunos de sus pronósticos son verdaderas perlas de la probabilidad:

- En las internas 2014 los pronósticos para Lacalle Pou están todos en un rango de un solo punto, a 10 puntos del valor real.
- En las elecciones nacionales 2009, para el PC pronosticaron 26%, 26% y 26.9% para un valor real de 31.9% y un mes después 46%, 45%, 46% para un valor real de 51.6%
- El balotaje 2009 los tres pronósticos para Mujica tienen apenas 0.2% de apertura y los de Lacalle tienen 0.1%.

Si consideramos los 41 pronósticos para Cifra, Equipos y Factum, son 33 las veces que quedan todos pegados y lejos del valor real. Los datos son tercos y muestran que entre sus resultados hay una atracción absolutamente irresistible.

Rumbo a las municipales de mayo

Ahora que se acercan las municipales de mayo, las encuestadoras tienen un nuevo cuaderno en blanco y la decisión de volver a repetir las recetas del pasado o intentar de una vez por todas hacer encuestas de verdad.
¿Cómo nos daremos cuenta de su decisión? Si optaron por encuetas de verdad sus resultados serán más dispersos, mucho más tendencias que verdades absolutas, variando sensiblemente más que un punto por mes.

Los resultados reales caerán dentro de los rangos de pronósticos y no todos por abajo o todos por arriba.
Si optan por encuestas de verdad, nos daremos cuenta rápidamente, porque se parecerán más a un trabuco naranjero que a un rayo láser.

Por favor, ¡¡¡cometamos nuevos errores!!!

Notas
(1) - Tomamos 1000 apenas como ejemplo. En realidad las hipótesis son independientes de la cantidad de personas que se encuesten. Solo cambia la probabilidad de que el resultado sea correcto.
(2) - Considerando que para el Partido Nacional el error real es de +/-8%, el rango de apertura de las series debería haber sido de unos 20 puntos porcentuales, tomando los 16 del error y +/-2% de error muestral.

Toda la información de base es de dominio público. Detalle completo del histórico de pronósticos en http://www.mordecki.com/cgi-bin/bookdownload.php?libro=4 o por mail a daniel@mordecki.com.