Lo que las encuestas dicen y lo que no dicen

Posted on por

Alberto Penadés

Lo primero, el dato: de acuerdo con el conjunto de las encuestas que se han publicado hasta ayer –unas 150- en los principales periódicos durante toda esta legislatura, además del CIS, un resultado probable es que el PP gane las elecciones con  el 46,5% del voto válido y que el PSOE las pierda con el 30,2%. Esa es la media a la que apuntan las predicciones (condicionada por su tendencia de cambio mensual; no dispongo de todos los datos semanales).  Un resultado que es muy cercano  al predicho por la encuesta pre-electoral del CIS (46,6% y 29,91%). Lo nunca visto. Es importante darse cuenta de que lo insólito es siempre un reto para los sondeos. La mayoría absoluta del PP en el año 2000 no se anticipó correctamente en las encuestas publicadas, y el CIS estimó entonces que la ventaja sería de cuatro puntos (fueron algo más de diez).

¿Dicen todas lo mismo? Hay un par de cosas más o menos evidentes (o que pueden verse con números sencillos). La primera es  que hay más variación en las predicciones para el PSOE que para el PP, especialmente después de las elecciones de mayo. Lo insólito es sobre todo el descenso del PSOE, y eso parece que tiene a los institutos algo desconcertados. La segunda es que, si bien casi todas las encuestas dicen “lo mismo”, hablan con acento personal.  Sobre todo por lo que se refiere al PP:  Sigma-Dos (El Mundo), DYM (ABC) y NC-Report (La Razón) tienden a estimar valores más altos y un crecimiento más pronunciado, mientras que el CIS y el Obradoiro de Socioloxia  (Público) y, en menor medida , Metroscopia (El País) tienden a dar valores algo más bajos y un crecimiento menos rápido. Las encuestas de los dos diarios de Barcelona recogidas aquí (elaboradas por Noxa y Gesop para La Vanguardia y El Periódico) suelen aproximarse a la tendencia media.

¿Hay diferencia entre datos crudos y publicados? Naturalmente, pero ninguna encuesta en España explica cómo llega a su resultado predicho: lo que se llama, a veces, la “cocina”.  Eso ni siquiera es tan grave, pese al humo que levanta; lo malo es que en la inmensa mayoría de los casos no se informa sobre el resultado “crudo”: qué es lo que de hecho responden las personas de la muestra cuando se les pregunta su intención de voto. Es decir, la mayoría de los medios no solo no dan la receta sino que ni siquiera dan los ingredientes. Es como comprar un envase de bebida naranja que dice “hecho a partir de naranja”, pero sin saber cuánta, si pulpa o cáscara, ni qué otras cosas lleva.

El CIS sí publica los resultados no tratados, gracias a lo cual podemos saber que practica una cocina bastante natural, al menos últimamente: la correlación entre el voto como resultado directo de la encuesta y la estimación publicada por el CIS es, en esta legislatura, del 93% para el PP y del 94% para el PSOE. La estimación va contando, en esencia, la misma historia que cuentan los ciudadanos que responden a las preguntas. En el periodo 1996-2004 la correlación entre respuestas a la encuesta y predicciones del CIS fue del 89% para el PP y del 75% para el PSOE.  Aun sin conocer las recetas, si solo lleva un 75% de ingredientes naturales y no se sabe si el resto es agua…

¿De qué depende la cocina? Dejando aparte el toque personal, puede decirse que hay al menos tres grandes cuestiones que un encuestador tiene que resolver para poder publicar una estimación. La primera es la “representatividad” de los datos de la muestra de acuerdo con características conocidas de la población, incluyendo el comportamiento electoral en el pasado (el recuerdo de voto). Si, como suele suceder en España y en casi todos los países occidentales, las respuestas de la muestra están sesgadas hacia el gobierno y/o hacia la izquierda, esto puede corregirse con ponderaciones. La segunda es la probabilidad real de que vote quienes dicen que van a hacerlo. En casi todas las encuestas, casi todo el mundo dice que piensa votar (el resultado puede ser de más del 90%), seguramente porque votar se considera moralmente obligatorio. Sabemos que muchas de esas personas, tal vez tantas como un 20%, en realidad se abstienen. Esto puede corregirse para tener en cuenta, sobre todo, las respuestas “creíbles”.  En tercer lugar hay mucha gente que no quiere o no sabe decir a quién piensa votar  (los “indecisos”), por lo que es necesario suponer qué harán.  A pesar de algunas apariencias, lo tercero suele ser lo menos complicado, salvo en elecciones en las que haya mucho cambio durante la campaña electoral.

La escasa información que se recoge en lo que se denomina “ficha técnica” sirve para hacerse una idea del tipo de encuesta que se nos ofrece, pero nada más. Para explicar más cosas, los institutos pueden producir informes y la prensa remitir a ellos (ya hay algunos casos).

¿Se puede ser más transparente? Se debe. En Gran Bretaña  y en Estados Unidos los institutos están obligados, por un acuerdo profesional suscrito por todos ellos, a explicar cómo resuelven los tres problemas anteriores, es decir, a explicar, al menos a grandes rasgos, su “cocina”. En Estados Unidos, además, los principales institutos depositan las matrices de datos en el Roper Center para que puedan ser reanalizados. Cualquiera puede obtenerlos, pagando algo, y sacar sus propias conclusiones, aunque sea a tiro pasado. En Europa continental la situación es menos brillante. Las excepciones más celebradas por los estudiosos son las encuestas públicas del CIS y las encuestas del segundo canal de la televisión alemana (el Politbarometer), cuyos datos se depositan en repositorios públicos con toda la documentación técnica. Sin embargo, no se explican los detalles de la estimación, cosa que al menos al CIS le costaría poco hacer, siquiera en trazo grueso.

¿Qué encuestas son mejores? En una palabra, como es lógico, las que cuestan más dinero. No es que haya que exagerar, el presupuesto del INE sería absurdo, por lo excesivo, para estudiar la opinión ciudadana -algo para lo que incrementar la precisión pierde valor muy rápidamente- pero tampoco cabe duda de que el presupuesto de las encuestas públicas del CIS da para más que el de las encuestas habituales de los institutos privados. En todo caso, para saberlo con certeza habría que poder compararlas. Sabemos, por ejemplo, que las encuestas del CIS suelen sobre-representar a la izquierda, o que a veces contienen más parados de los que sería perfectamente representativo. Lo sabemos porque los datos son de dominio público, pero no sabemos cuál es la situación de otras encuestas. Todo indica que tendrán iguales o mayores problemas, pero están velados.

El CIS puede ser el único instituto del mundo que ha empezado a difundir la matriz de datos de una encuesta electoral antes del día de las elecciones. Si repiten la hazaña esta semana, y cruzo los dedos, cualquier persona con un poco de formación en el tema puede hacer su propia predicción y difundirla, qué se yo, en Twitter.  Anímense.

18 comentarios en “Lo que las encuestas dicen y lo que no dicen”

  1. Hombre, mira tu qué bien. Encuestas.

    El pasado viernes salió una de l’IPCS. (http://www.icps.es/archivos/sondeigs/SC2011catala.pdf) Lo de menos era la intención de voto, pero… hay unos datos que buscaba que me parecen interesantes.
    A la hora de votar la gente escoje por el partido 49%, por el candidato 19%, por ambos 15%, por ninguno 11%

    Entre las variaciones de Rubaljoy (Rubalcaba o Rajoy) los catalanes optan por la versión con inshidiash
    Rubalcaba 51%, Ninguno 20% y Rajoy 17.7.% Se la suda el 4%

    Lo curioso es que en CiU (liberal democristianos) el 44% de sus votantes opta por Rubalcaba, el 28% por ninguno y el 23% Por Rajoy. A mi este dato me serviría para intentar distinguir entre liberales y conservadores dentro de CDC. Los democristianos mezclados entremedio ya que no hay datos separadaos para ellos. No sé, opina que és un método aceptable para esbozar la diferencia? Este dato ya se daba en el 2008 con ZP. No recuerdo, pero, las crifras
    Menos el PP todos los votantes optan por Rubalcaba, incluidos los grupos Otros, en blanco, abstencionistas y Noseloquevoté, nomesaledelos…contestarle.
    Todos? NO! un partido de centroizquierda socioliberal opta por Rajoy 59%, ninguno 26% Rubalcaba 13%. Ciutadans! Curioso, no?

    Charneguistan es posiblemente donde Ruby tiene mejor aceptación. Y sin embargo, aquí solo se ven fotos de Carme. Desgraciadamente vestida.

    Por otra parte el voto por Correo ha caído aqui en un 27%. Puede que a los catalufos nos haya dado por el voto presencial. O puede que superemos récords de abstención. Y va ser el PSC el que pierda más votos. Probablemente para castigar el catalanismo de Chacón, ZP o Ruby (risas enlatadas), en la tónica de los argumentos de Teoura o Embed.
    Veremos

  2. Como decía aquel, «ya hemos decidido qué vamos a votar y ahora vamos a decidir qué decimos en las encuestas que vamos a votar». El 20N la respuesta.

    (¿Alguien conoce a la empresa NC-Report que le hace las encuestas a La Razón? Es uno de los grandes misterios de la legislatura)

    ::

    Así que Monti y Papademos son tecnócratas, ¿ y quienes han puesto en marcha todas las políticas de ajuste qué son? ¿Patriotas? ¿idealistas? Que me da la risa…

  3. El otro dia me encontré a un conocido…y hablando hablando,le pregunte a quien iba a votar.
    Me dijo que como veia muy nerviosos al PSOE,habia decidido votar por correo.
    Saquen ustedes sus propias conclusiones.

  4. Esclarecedor articulo, tienes mucha razón sabemos los fines que pretenden todas las encuestas, que no es mas que acercarse lo mas posible y hacer de pitonisos fiables. Dicho esto tambien es cierto como tu dices que se cocina en la cocina de las encuestas ¿de que manera están hechas? ¿Qué métodos se utilizan? ¿Que personas son las llamadas a contestar? Y que intención hay en cada uno de los mensajes que nos envían las encuestas. Sabiendo el color de la fuente sabremos su intención. En esta ocasión tenemos una unanimidad un poco sospechosa, válgame la palabra. Seguramente el día 20N será la autentica encuesta y esto si que es una perogrullada, pero en este caso no me queda otra que confiar en ella mas que en ninguna. Algo no me cuadra en la encuestas de estas elecciones, no quiero decir que mientan, simplemente no me cuadra tantas coincidencias en tan variados medios, espero que la realidad el día de las elecciones me saque de dudas, mientras tanto las tengo y tambien se que en estos últimos días algo se esclarecerá. Tiempo al Tiempo.

  6. A ver si alguien me saca de dudas ¿por qué el PP ha clausurado una cuenta en TWITTER que parodiaba al partido sin ofensas visibles ¿cuando digo que algo no me cuadra?

  7. Me gustaria saber si las encuestas reflejan el trasvase de votos de la ultra derecha al Partido Popular,tanto como el trasvase de voto del PSOE a la ultra izquierda.
    Por cierto,¿los catolicos que van a misa ,votan a UPyD?.

  8. No quiero asustar a nadie con mis predicciones,pero si les digo que la primera medida,que va a adoptar el Partido popular cuando llegue al gobierno,sera declarar a España como «Paraiso Fiscal» para anexionarse con mayor facilidad a Gibraltar y convertir el Peñon en la locomotora de España y salir de esta crisis.
    Ya resuenen en mis visiones el griterio patrio:
    ¡¡Gibraltar español!!…OeOeOeeeee….

  9. Mi vaticinio es que los resultados electorales van a permitir que, con grandes dosis de sinceridad, todos los partidos van a reflejar satirfacción por los mismos.

  11. Tambien vaticino que si el PP gana las elecciones por mayoría absoluta, que está aún por ver, Rodriguez Zapatero recibirá de la prensa un entierro de primera con grandes dosis de reconocimiento mediático sobre su autoinmolación por haber «hecho lo que tenía que hacer por el bien del pais», lo que justificará que los nuevos gestores puedan seguir por la misma senda que el sacrificado Zapatero y por la que nos evitó el ser rescatados. El reconocimiento de la ingrata labor del generoso Zapatero que hizo lo ue debía aún a costa de perder el gobierno servirá de argumento para mantener la linea de recortes que él inició. El hombre bueno en su acertada visión marcó el camino a seguir. ……. dirán los de la tijera.

  12. Va a haber inmediata colaboración por parte del Partido Popular en que Zapatero gane la batalla de la historia.

  13. Gracias por el artículo. Leyendolo esparaba uno con que se diese la campanada sobre que las encuestas en realidad predecian muy poco, pero no, parece que ajustan bastante bien lo que ocurre, al menos la del CIS, siempre denostado, entiendo yo, por se público.

    Lo idoneo es siempre la transparencia, tanto en datos como metodológica, asi pueden reproducirse resultados y emitir opiniones.
    Desde mi negociado, el día que se pueda hacer eso con el PIB, tambien habrá cosas a aclarar. Siempre se ha mencionado la particularidad de que el PIB español es la unica serie que varia mas cuando se la revisa por el mismo INE 16 meses despues que cuando va dando los datos en cada trimestre. Probablemente esto se debe al «miedo» del Instituto a anunciar grandes crecimientos o caidas que luego, meses despues, se vea que no eran tan grandes en realidad, y verse acusado de dar municion política. Cosas que pasan en nuestro enrabietado país, donde la opinión pública es a veces tan despiadada.

  16. Excelente artículo de Penadés al que felicito. No se si las regresiones de todos los datos las ha hecho él o si las hace otra persona o institución. Tampoco queda claro si la tendencia se calcula por mínimos cuadrados o que otra fórmula.
    El resultado es impresionante. También me impresiona la diferencia entre estimaciones y datos directos del CIS. Es increible que en 2 años y medio hayan cambiado tanto las opiniones respecto al partido que está en el gobierno y el que está en la oposición. Revela la crudeza de la crisis y la esperanza sin mucho fundamento que la gente pone en el que no ha gobernado. ¡qué le vamos a hacer!

  17. Gracias por los comments.

    Pratxanda, la encuesta del ICPS es de las serias, y Catalunya otro país, a la vista está. Pero tan necesario!

    Magallanes, las regresiones son minimos cuadrados ordinarios. Hay curvatura si tomamos el periodo hasta comienzos de este año y el de los últimos nueve meses por separado (en este periodo se descontrolan las encuestas para el PSOE, se ve que los pollsters no saben qué hacer con los datos).

    Debería también añadir que los datos provienen de Argos (http://www.pre.gva.es/argos/), una web que mantiene el gobierno de la Comunidad de Valencia, con información demoscópica y electoral, y del Electometro.com, que es una página de frikis de las encuestas que recopila información sobre las que se van publicando.

    Buenas noches a quien por aquí siga…

  18. Muy interesante el artículo, a mi lo que me fastidia es que soy licenciado en matemáticas, y no soy capaz de validar una encuesta y estas cosas, ni yo ni la mayoría de matemáticos. Hoy lo hablaba con otro compañero lisenssssssssiado como yo.

    Por no dar no dan, ayer la vanguardia, ni los resultados desglosados por autonomia o provincia, !que menos!

    Buenas noches.

Deja una respuesta