terça-feira, 14 de setembro de 2010

Pesquisas e Equívocos 3

Muitas pessoas acham que uma pesquisa é um "retrato" da vontade eleitoral do país.

Bem, isto não é inteiramente verdade. A analogia do saco com moedas é muito boa para representar uma cidade ou um agrupamento de pessoas. Mas na medida que há diversos destes agrupamentos, então algumas diferenças com o modelo de um saco de moedas começam a aparecer.

Neste caso, o melhor é um modelo com múltiplos sacos de moedas. Ainda assim, a coisa é complicada. Há cidades, vilas e estados a serem levados em considerações. Aí, o melhor modelo é o de múltiplos sacos de moedas.

O que se está interessado neste caso é estimar a proporção entre moedas de dois tipos no total de sacos. Como os sacos terão tamanhos diferentes, e portanto número de moedas diferentes, esta particularidade pode ser levada em conta considerando pesos diferentes para cada um dos sacos. Assim, os sacos maiores ficam com maior peso e os menores com menor peso.

Cada um dos sacos tem uma proporção diferente. No final o que desejamos é a proporção total - ou seja do conjunto total de moedas em todos os sacos.

Para simplificar, vamos considerar 2 sacos apenas. O primeiro tem uma proporção pa (para moedas do tipo 1) e o segundo tem uma proporção pb (para moedas do tipo 1). Ao mesmo tempo, o saco A tem Na moedas no total e o saco B tem Nb moedas no total. O número total de moedas é Na+Nb.

Assim, o número total de moedas do tipo 1 será:
N1=pa*Na+pb*Nb

E o número total de moedas do tipo 2 será:
N2=(1-pa)*Na+(1-pb)*Nb = Na+Nb-(pa*Na+pb*Nb)= Na+Nb - N1

Se dividirmos estes valores pelo número total de moedas teremos:
p1=N1/(Na+Nb)=pa*Na/(Na+Nb)+pb*Nb/(Na+Nb)

p2= 1-N1/(Na+Nb) = 1-p1

Esta tudo muito legal, mas e quando temos apenas uma estimativa dos valores de pa e pb?

Neste caso teremos:
pa'-da

Assim teremos:
(pa'-da)*Na<(pa'+da)*Na

(pb'-db)*Nb<(pb'+db)*Nb

Podemos somar os dois (todos são positivos) e teremos:


(pa'-da)*Na+(pb'-db)*Nb<(pa'+da)*Na+(pb'+db)*Nb

Podemos chamar de N1' =pa'*Na+pb'*Nb e N1/(Na+Nb) = p1'

Então teríamos:

N1'-(da*Na+db*Nb)

Dividindo pelo número total de moedas teríamos:

p1'-(da*Na+db*Nb)/(Na+Nb)

Assim, a incerteza é: (da*Na+db*Nb)/(Na+Nb).

Chamando: Na/(Na+Nb) = psa e Nb/(Na+Nb) = psb = 1-psa

Temos que a incerteza é:

d=psa*da+(1-psa)*db = psa*da+psb*db = psa*(da-db) +db

Repare que se da for igual a db, então a incerteza é db. Isto na realidade não é estranho. Mas soa esquisito...

Porque?

Vamos supor que tivéssemos juntado os dois sacos em um só e tirado de lá. Certamente, se eu tiro Nx do saco eu tenho uma incerteza dx. Mas para termos a mesma incerteza em cada saco eu deveria tirar Nx do saco 1 e Nx do saco 2. Ora, eu tirei então um total de 2* Nx moedas. Então certamente se tudo estivesse em apenas 1 saco, eu precisaria de menos moedas retiradas para ter o mesmo grau de confiança.

Mas seguimos em frente. No caso de uma eleição em um país como Brasil a coisa fica mais complicada ainda. A razão é que temos uma dispersão populacional. Em outras palavras, ao realizarmos nossas amostras somente nas cidades, estamos cometendo um erro.

Que erro? O erro é que não estamos considerando todos os saquinhos de moedas, apenas os maiores. Isto pode ser uma aproximação boa ou má, dependendo das proporções envolvidas. Um exemplo de onde isto pode dar errado é o caso da região centro oeste.

As 10 maiores cidades constituem cerca de 50% da população. O restante está pulverizado entre cidades substancialmente menores. O equivalente a isto é ao invés de realizar a amostragem nos dois saquinhos, realizar apenas em 1.

Qual será o erro? Agora não temos nenhuma informação sobre o saco b, então:


(pa'-da)*Na<(pa'+da)*Na
0

Ou seja tudo que podemos dizer é que <0<1

Somando temos
(pa'-da)*Na<(pa'+da)*Na+Nb

ou:
(pa'-da)*psa<(pa'+da)*psa+psb

Note que o tamanho do que foi deixado de fora (psb) irá determinar em última análise o erro. E este erro é difícil de consertar...

Uma conseqüência lógica desta teoria é em regiões mais homogêneas, a pesquisa deve funcionar melhor.

Mas vamos entrar neste detalhes em um futuro post

quarta-feira, 8 de setembro de 2010

Anatomia de um Spin

Hoje tivemos o privilégio de ter um daqueles momentos que definem a forma como as pessoas vêem o mundo.

Vamos primeiro aos fatos: em uma coluna do Atlantic Monthly, o jornalista Jeffrey Goldberg descreveu um dos seus encontros e conseqüentes entrevistas com Fidel Castro:

"But during the generally lighthearted conversation (we had just spent three hours talking about Iran and the Middle East), I asked him if he believed the Cuban model was still something worth exporting.

"The Cuban model doesn't even work for us anymore," he said.

This struck me as the mother of all Emily Litella moments. Did the leader of the Revolution just say, in essence, "Never mind"?

I asked Julia to interpret this stunning statement for me. She said, "He wasn't rejecting the ideas of the Revolution. I took it to be an acknowledgment that under 'the Cuban model' the state has much too big a role in the economic life of the country."
Julia pointed out that one effect of such a sentiment might be to create space for his brother, Raul, who is now president, to enact the necessary reforms in the face of what will surely be push-back from orthodox communists within the Party and the bureaucracy.  Raul Castro is already loosening the state's hold on the economy."

Traduzindo, Fidel falou que o modelo de Cuba precisava ser revisto. E isto foi interpretado como uma concordância com as mudanças que estão sendo realizadas pelo seu irmão.

Ah... Mas aí começa o SPIN....

O site da CNN publicou:

"(CNN) -- Fidel Castro told a visiting American journalist that the "Cuban model" no longer works, an apparent admission of failings in the communist economic model introduced by his revolution more than 50 years ago.


"The Cuban model doesn't even work for us anymore," Castro told Jeffrey Goldberg of The Atlantic in an interview last week. Goldberg published parts of the exchange on a blog Tuesday and Wednesday.
Castro's younger brother and successor, President Raul Castro, has said as much in numerous speeches since taking the reins of power in 2006."

Já o UOL foi mais um pouco mais fiel ao texto original:

"Fidel Castro disse que o modelo econômico de Cuba não funciona mais, escreveu um jornalista dos EUA na quarta-feira, após realizar entrevistas com o ex-presidente cubano na semana passada.


Jeffrey Goldberg, articulista da revista Atlantic Monthly, contou num blog que perguntou a Fidel, de 84 anos, se ainda vale apenas tentar exportar o modelo comunista cubano para outros países. "O modelo cubano não funciona mais nem para nós", teria respondido Fidel.
O comentário parece refletir a concordância de Fidel - já manifestada numa coluna em abril na imprensa estatal cubana - com as modestas reformas econômicas que vêm sendo promovidas por seu irmão caçula Raúl, atual presidente de Cuba.
Goldberg disse que Julia Sweig, especialista em Cuba na entidade norte-americana Conselho de Relações Exteriores, que o acompanhou a Havana, acredita que as palavras de Fidel reflitam uma admissão de que "o Estado tem um papel grande demais na vida econômica do país"."

Mas o campeão do Spin foi o site Opera Mundi:

"Em entrevista, Fidel aprova medidas de Raúl para reduzir o papel do Estado na economia cubana
A revista norte-americana The Atlantic publicou nesta quarta-feira (8/9) uma entrevista com o ex-presidente cubano, Fidel Castro. Questionado sobre temas polêmicos, o cubano falou sobre o programa nuclear do Irã, os conflitos no Oriente Médio e a relação com os Estados Unidos.


Sobre a ilha, Fidel disse que “o modelo cubano já não funciona mais nem para os próprios cubanos”. Sem rejeitar as ideias da Revolução, o ex-presidente afirmou que a economia cubana precisa ser estimulada, bem como vem feito seu irmão e atual presidente da ilha, Raúl Castro.
O jornalista Jeffrey Goldberg, que conduziu a entrevista com Fidel, consultou Julia Sweig, especialista do Conselho de Relações Exteriores, em Washington, que considerou as afirmações do cubano como o reconhecimento do líder de que o Estado cubano tem um grande papel na vida econômica do país. "

Isto, meus caros é Spin desavergonhado mesmo... Da CNN e do Ópera Mundi!

terça-feira, 7 de setembro de 2010

Pesquisas e Equívocos 2

Ao invés de candidatos vamos pensar em moedas em uma caixa. Como descobrir a proporção entre duas moedas diferentes em uma caixa?

Vamos supor que tenhamos 2 tipos de moedas dentro de uma caixa. Qual é a proporção entre as duas moedas? Há 40% de um tipo e 60% de outro? Ou é diferente?

Normalmente a forma de ter 100% de certeza é contar cada uma das moedas de dentro da caixa.

Mas e se nos satisfizermos com menos de 100% de certeza (digamos 90%), então quantas moedas teríamos de contar? A primeira vista 90% do total - mas isto é verdade?

Consideremos outro caso: cada moeda que tiramos temos de repor na caixa! Então como estimar a proporção?

Este problema é equivalente ao de estimar a proporção entre dois tipos de moedas em uma caixa com um número infinito de moedas. Repare que mesmo que não possamos contar todas as moedas, pois o número é infinito, a proporção entre os dois tipos é claramente definida.

Então como resolver o problema?

Pode argumentar: para que resolver o problema então? "Ele não parece muito realista!". Mas ao contrário disto ele tem raízes bem reais. Este problema é o equivalente ao de descobrir a proporção de votantes entre dois candidatos em uma população.

Muito bem, e como resolve-lo? Como o número de moedas é infinito e estou interessado na proporção entre as moedas, proponho a seguinte situação:

Retiro M moedas, destas M moedas N serão de um tipo de moeda e M-N serão de outro tipo. Assim fazendo a proporção

Moeda do tipo 1: N/M = pa
Moeda do tipo 2: (M-N)/M=1-N/M=1-pa

Então a questão é quantas moedas devo tirar para que a proporção pa esteja razoavelmente próxima da proporção real?

Bem, primeiro temos de definir o que é razoavelmente próxima. Uma forma de fazer isto é estudando a probabilidade de se tirar uma moeda do tipo 1 ou do tipo 2. Isto pode ser feito através das repetições de Bernoulli.

Temos que o processo de retirar moedas para ver se são do tipo 1 ou 2 possui distribuição binomial
 f(k;n,p) = \Pr(K = k) = {n\choose k}p^k(1-p)^{n-k}
O valor esperado da distribuição é dado por:

    \operatorname{E}[X] = np
Enquanto a variância é dada por:

    \operatorname{Var}[X] = np(1 - p).
Isto quer dizer que o em n retiradas, a proporção terá desvio:
s_p = \sqrt{ \frac {p \, (1-p) } {n} }
Bem, o que isto quer dizer?

Temos aqui a seguinte situação, ao tomarmos as repetições associamos as variáveis 1 para moeda 1 e 0 para moeda 2. O valor esperado das repetições é igual ao número de vezes que a moeda 1 aparece. Dividindo este número pelo número total de repetições teremos a proporção pa.

Bem, a coisa é um pouco mais complicada porque temos um processo aleatório. Então teremos um erro associado a ele. Quanto é este erro? Ele depende do valor de p, mas podemos ver que ele é máximo quando p=1/2. Portanto podemos partir deste erro máximo para estimarmos a proporção real.

No caso temos de fazer a aproximação baseada na normal. Vamos supor que 1000 moedas tenham sido retiradas e destas 1000 moedas, cerca de 867 tenham sido moedas do tipo 1.

Então teremos pa=0.867

Agora vamos ver o erro para diferentes intervalos de confiança:

  • Para 90% de confiança teremos:  0.867-0.0260 < p < 0.867+0.0260, ou seja 0.841 < p < 0.893
  • Para 95% de confiança teremos:  0.836 < p < 0.898
  • Para 99% de confiança teremos: 0.826 < p < 0.908
  • Para 99.9% de confiança teremos: 0.815 < p < 0.919

Vamos aos casos dos candidatos?

Na última pesquisa que tive acesso, tivemos 10948 amostras. Destas 5165 votariam em Dilma, 3218 em Serra, 1098 em Marina, 52 em Plínio, 48 em Zé Maria e 499 em Branco Nulo e Nenhum

Então como ficamos.

Vamos para os 90% primeiro

  • Dilma: 46.39% < p < 47.97%
  • Serra: 28.61% < p < 30.18%
  • Marina: 9.24% < p < 10.82%
  • Plínio: 0 < p < 1.26%
  • Zé Maria: 0 < p < 1.22%
  • Brancos, Nulos e Nenhum: 3.77% < p < 5.35%

Agora vamos para 95%

  • Dilma: 46.24%< p <48.11%
  • Serra: 28.46%< p <30.33%
  • Marina: 9.09%< p <10.97%
  • Plínio: 0< p <1.41%
  • Zé Maria: 0< p <1.38%
  • Brancos, Nulos e Nenhum: 3.62%< p <5.49%

Agora 99%:
  • Dilma: 45.95%< p <48.41%
  • Serra: 28.16%< p <30.62%
  • Marina: 8.80%< p <11.26%
  • Plínio: 0< p <1.71%
  • Zé Maria: 0< p <1.67%
  • Brancos, Nulos e Nenhum: 3.33%< p <5.79%

E finalmente para 99.9%
  • Dilma: 45.61%< p <48.75%
  • Serra: 27.82%< p <30.97%
  • Marina: 8.46%< p <11.60%
  • Plínio: 0< p <2.05%
  • Zé Maria: 0< p <2.01%
  • Brancos, Nulos e Nenhum: 2.99%< p <6.13%

Então temos aí como estamos hoje a luz da teoria de Bernoulli

Pesquisas e Equívocos 1

Depois de uma breve leitura ao longo da Comunidade da UnB no Orkut, vi que ainda existem muitas dúvidas sobre a eficácia de pesquisas.

Então vamos a alguns exemplos de como uma pesquisa pode dar boas aproximações em grandes populações.

Inicialmente considere um chapéu. Nele estão papéis dobrados com nomes de candidatos 1 e 2. Como podemos estimar a proporção entre os papéis com os nomes dos candidatos?

Podemos pegar alguns papéis e a partir destes estimar a proporção....

Mas para simplificar vamos dizer que o candidato 1 tem uma proporção de p papéis e o 2 de 1-p papéis.

Se eu tirasse 1 vez poderia ter:

1 papel do candidato 1 ou 1 papel do candidato 2

Para simplificar vamos dizer: [C1,C2]

Se eu tirasse 2 vezes poderia ter:

[C1C1,C1C2,C2C1,C2C2]

Se tirasse 3 vezes poderia ter:

[C1C1C1, C1C1C2, C1C2C1, C1C2C2, C2C1C1,C2C1C2,C2C2C1,C2C2C2]

Ou seja, no fim teríamos um binômio do tipo (p+(1-p))^n  = 1

Como temos esta representação, teríamos em termos de probabilidades:

1 vez [p,1-p]
2 vezes [p^2,2p*(1-p),(1-p)^2]
3 vezes [p^3,3*p^2*(1-p),3*p*(1-p)^2,(1-p)^3]

Vamos botar números dizendo que 90% dos papéis tem o candidato 1 e 10%, o candidato 2. Assim a nossa conta fica:
1 vez [0.9,0.1]
2 vezes [0.81, 0.18, 0.01]
3 vezes [0.729, 0.243,0.027,0.001]

Note que de 3 jogadas, isto quer dizer que a chance de aparecer o candidato 1 2 ou mais vezes é de 0.729+0.243=0.972

Mas vamos para 10 vezes
- a chance de aparecer o candidato 1 8 ou mais vezes é de 0.93

Vamos para 20 então:

- a chance de aparecer o candidato 1 16 ou mais vezes é de 0.96

Vamos para 30 então:
- a chance de aparecer o candidato 1 25 ou mais vezes é de 0.93

Ao dividirmos o número de vezes que o candidato aparece temos o seguinte quadro

  • Para 10 vezes, o candidato 1 aparecerá 80% das vezes com uma confiança de 93%
  • Para 20 vezes, o candidato 1 aparecerá 80% das vezes com confiança de 96%
  • Para 30 vezes, o candidato 1 aparecerá 83% das vezes com confiança de 93%
O fato é que a medida que formos aumentando o número de testes, o percentual medido irá se aproximar do valor real p.

Para os que não acredito, eu incluo este programa em MATLAB
% Exemplo de amostragem em uma população
clear
% N tamanho da população
N=1000000;
% N1 é o número de amostras retiradas aleatoriamente da população
N1=1000;
% p é o percentual que vota no candidato X (não sei e é aleatório)
p=100*rand;
% a é a população de votantes
a=round(2*p*(rand(N,1)));
% vetor da amostra
g=round(999*rand(N1,1)+1);
% s é o vetor de amostras
s=zeros(N1,1);
for k=1:N1;
        % Processo de amostragem
    s(k)=a(g(k));
end;
% mostra o tamanho da amostra, o percentual na amostra completa e o percentual da estimativa
[mean(a) mean(s)]

Ele funciona razoavelmente bem.

Evolução dos Candidatos - Comparativo

Observando os dois resultados vemos que a evolução de Dilma e Serra passam por pontos de inflexão entre a segunda e quarta pesquisas. Daí para frente temos Serra em queda e Dilma em ascensão.

A minha explicação é que a identificação de Lula com Dilma passou a vigorar com maior intensidade nesta região. Mas é bem claro que Dilma vinha de uma trajetória ascendente

Evolução dos Candidatos - Dilma

Já no caso de Dilma surge uma tendência aparentemente constante de crescimento, mesmo no início das pesquisas.

segunda-feira, 6 de setembro de 2010

Evolução dos Candidatos - José Serra

Resolvi utilizar a "técnica muito interessante" para analisar o desempenho dos dois candidatos. Uma das vantagens desta técnica é que mostra mais ou menos quando as coisas se acertaram ou desandaram.

Como dá para ver, a coisa desandou entre a pesquisa 3 e 4 (9-12 de agosto e 20 de agosto

Alimentos Orgânicos - Moda?

Saiu no blog Nutritips:
            Desde a década de 50 começaram a surgir vários estudos abordando a questão dos alimentos orgânicos. Recente artigo publicado em uma importante revista científica apresentou uma revisão de tudo que havia sido publicado até o momento abordando este assunto. Impressionantemente mais 95.000 artigos foram levantados na literatura científica de 1958 até março de 2010, em relação aos orgânicos e seus aspectos nutricionais. Quando se fala em alimentos orgânicos, diversas questões aparecem como: Eles são mais nutritivos? São mais saudáveis do que os alimentos comuns? São melhores para o meio ambiente? Os pesticidas utilizados dentro das quantidades permitidas fazem mal à saúde?

Muitos estudos, realizados com animais e em humanos, têm sido conduzidos com o objetivo de responder algumas destas questões e, no entanto, pouco se concluiu até hoje. Umas das razões para isto é que muito estudos são conduzidos com fraco desenho experimental, por exemplo, em alguns casos não é possível afirmar que o produto analisado era realmente orgânico, pois apesar do cultivo ser adequado, o solo da região encontrava-se já muito contaminado. Outra questão importante diz respeito aos estudos conduzidos em animais que em alguns casos são irreprodutíveis em humanos.
Muitas pessoas compram produtos orgânicos porque entendem que estes produtos são mais saudáveis, no entanto, o que a literatura tem demonstrado é que não há relação entre o consumo de orgânicos e melhora da condição de saúde. De fato, poucos são os artigos que mostraram aumento de algum nutriente, principalmente antioxidantes, nos produtos orgânicos quando comparados com o cultivo normal. Alguns trabalhos encontram aumento de vitamina C, ferro e magnésio em produtos de origem orgânica comparados aos mesmos produtos cultivados de forma tradicional. No entanto, quando indivíduos consumiam estes alimentos nenhum benefício extra foi encontrado. Muitos autores acreditam que uma quantidade um pouco maior de antioxidante em alguns alimentos não é suficiente para trazer benefícios ao ser humano. Mesmo porque a variedade de frutas e vegetais que são consumidos normalmente é suficiente para promover a ingestão adequada de antioxidantes.
Outro aspecto que vem sendo estudado é se o consumo de alimentos de cultivo tradicional poderia trazer algum malefício devido ao uso de pesticidas e outros produtos químicos. O que a literatura mostra é que boa parte destes resíduos são eliminados na preparação dos alimentos. A cocção e higienização, por exemplo, podem levar a uma redução significativa nos níveis de resíduos de pesticidas em alimentos. Procedimentos comerciais de beneficiamento de grãos, como arroz, café e trigo, podem levar a uma redução de até 95% de alguns pesticidas. Em outros casos como no mamão papaia a maior parte dos resíduos encontra-se na casca, que não é consumida in natura. No caso do tomate por exemplo a discussão é ainda maior, pois boa parte dos resíduos encontra-se na casca, onde também está a maior parte do licopeno, importante substância encontrada no tomate. Neste caso, não há consenso se o melhor seria retirar, ou consumir a casca, segundo alguns autores a quantidade de resíduos a serem consumidos ao ingerir a casca seria muito baixa, enquanto a retirada da mesma levaria a uma redução significativa do consumo de licopeno, o que seria mais prejudicial do que o pouco resíduo a ser consumido.
O que se tem comprovadamente até o momento não justifica o consumo de orgânicos pensando em melhorar a saúde. Este consumo pode ser feito por opção, ou filosofia, mas manter o consumo de frutas e vegetais produzidos tradicionalmente até o momento não é prejudicial à saúde.
Este talvez seja mais um daqueles casos aonde um movimento criado por suposições ou mesmo ilusões de superioridade leva a toda uma modificação na vida das pessoas.


Não é o primeiro e nem será o último caso. Na minha área de atuação temos o "grande temor" dos telefones celulares, da radiação eletromagnética e até do controle da mente por ondas eletromagnéticas (sério - tem gente que acredita).


Portanto, muito cuidado ao entrar "na moda"

domingo, 5 de setembro de 2010

Avaliação de Lula - Onde você se encontra

Há poucos dias atrás foi divulgada a avaliação do presidente Lula. Esta avaliação traz muito mais informações do que o simples, bom, regular & péssimo.

Ela também traz o equivalente a uma distribuição. E com isto podemos fazer algumas brincadeiras interessantes.

Nota %l Número %l Média Variância Distorção Curtosis
0 2 218,96 0,02 0,00 1,26 -10,05 79,89
1 1 109,48 0,01 0,01 0,48 -5,01 23,33
2 1 109,48 0,01 0,02 0,35 -4,99 12,53
3 1 109,48 0,01 0,03 0,25 -4,97 6,00
4 2 218,96 0,02 0,08 0,31 -9,75 4,87
5 6 656,88 0,06 0,30 0,52 -26,86 4,54
6 6 656,88 0,06 0,36 0,23 -26,23 0,87
7 13 1423,24 0,13 0,91 0,12 -45,36 0,11
8 21 2299,08 0,21 1,68 0,00 -51,76 0,00
9 14 1532,72 0,14 1,26 0,15 -41,92 0,17
10 33 3612,84 0,33 3,30 1,39 -33,18 5,83
100 10948 1,00 7,95 5,07 -260,08 138,14
2,25 -22,80 5,38

Eu não sei se a formatação irá aparecer, mas o caso é o seguinte:

Nota média de Lula: 7.95
Desvio Padrão: 2.25
Distorção: -22.80 (quão torta está a curva - no caso para o lado positivo da avaliação)
Excesso de Curtosis: 2.38 (mede a quantidade de gente nos locais mais distantes da média)

Com estes dados, você pode a priori se colocar dentro da distribuição. Por exemplo
  • Se minha avaliação de Lula é 7.95 então minha dispersão normalizada é zero, minha distorção relativa é zero & minha curtosis relativa é zero
  • Se minha avaliação de Lula é 5.00 então minha dispersão normalizada é 1.72, minha distorção relativa é -2.25 & minha curtosis relativa é -0.05
  • Se minha avaliação de Lula é 10.00 então minha dispersão normalizada é 0.83, minha distorção relativa é 0.76 & minha curtosis relativa é -2.31
  • Se minha avaliação de Lula é 2.00 então minha dispersão normalizada é 6.99, minha distorção relativa é -18.47 & minha curtosis relativa é 45.81
O que significa isto?

Quanto maior a dispersão, mais longe minha avaliação está do valor médio. Quando a minha distorção é positiva minha avaliação tende a ser mais positiva que a média. E a curtosis indica se tem muita gente que pensa como eu... (basicamente quanto maior a curtosis, mais longe eu estou da distribuição normal)

E você? Que nota dá para Lula? Vale a pena ver a tabela

Nota Erro Desvio Distorção Curtosis
0 -7,95 12,47 -44,02 152,40
1 -6,95 9,53 -29,41 87,77
2 -5,95 6,98 -18,45 45,76
3 -4,95 4,83 -10,62 20,36
4 -3,95 3,08 -5,40 6,47
5 -2,95 1,72 -2,25 -0,05
6 -1,95 0,75 -0,65 -2,44
7 -0,95 0,18 -0,08 -2,97
8 0,05 0,00 0,00 -3,00
9 1,05 0,22 0,10 -2,95
10 2,05 0,83 0,76 -2,31

sábado, 4 de setembro de 2010

Um problema Interessante - Explicando

A questão que levantei no último post pode ser sumarizada da seguinte forma:
  • Ao termos um conjunto de dados numéricos, do qual desejamos verificar a tendência dos mesmos usamos geralmente técnicas de regressão  linear. No fundo, a forma mais utilizada é assumir uma aproximação linear, ou seja uma reta.
O problema de aproximar um conjunto de dados por uma reta é que a mesma apresenta uma inclinação constante ao longo do conjunto. E claro, inclinação constante implica em não inclusão de mudanças visíveis no conjunto.

O que pode ser feito é utilizar uma curva mais sofisticada para representar os dados. Nesta situação, o uso de aproximações polinomiais pode eventualmente levar a instabilidades ou resultados espúrios. Assim, busca-se o uso de curvas "naturais" ao processo (tais como a família de curvas logísticas).

Mas aqui eu proponho uma abordagem diferente:
  • Vamos usar um conjunto de 2 ou mais retas para fazer a aproximação. A escolha da inclinação e constante destas retas pode ser realizada de forma a minimizar a variância do resíduo (diferença entre os pontos medidos e os pontos obtidos na reta).
Um exemplo: Vejamos a evolução da população brasileira (em milhões)

y=[178.741 181.106 183.383 185.564 187.642 189.613]

Se usarmos uma reta única temos:

y=2.1757*X +  178.9023 (para todos os pontos - dispersão de 302 mil pessoas)

Mas podemos utilizar não apenas 1, mas duas retas. As retas que minimizam o erro são:

y=2.3210*X +  178.7557 (para os primeiros 4 pontos)
y=2.0245*X +  179.5083 (para os últimos 4 pontos)

O erro global das duas retas é de 55.6 mil pessoas.

O erro  é de 0.0556 (em milhões de pessoas), bem melhor do que o do caso linear com uma única reta (erro de 0.302 - também em milhões de pessoas).

Além disto notamos uma mudança na derivada entre o terceiro e quarto pontos ( entre 183.383 milhões e 185.564 milhões).

Isto foi usado para uma estimativa populacional, mas pode muito bem ser usado para outros conjuntos de dados

quinta-feira, 26 de agosto de 2010

Um problema interessante

Hoje tive de acompanhar dois membros do IEEE em uma maratona de reuniões. Neste caso meu papel foi essencialmente o de guia/motorista. Não foi ruim e os dois eram pessoas bastante simpáticas e agradáveis.

Mas em um dos momentos de espera eu comecei a pensar em um problema interessante.

Via de regra, dado um conjunto de medidas tentamos montar um modelo que relacione variáveis de entrada com variáveis de saída. Este é um problema de regressão linear. Na sua forma mais simples temos a equação:

Y=aX+b

E esta equação irá descrever um conjunto de pontos. Podemos fazer isto para mais de uma variável, como por exemplo:

Y=a1X1+a2X2+b

E o problema é praticamente o mesmo. Em geral temos um conjunto grande de X e Y para montar o sistema:

[X 1]*[a;b]=[Y]

Ou seja temos uma matriz N x 2 multiplicada por uma 2 x 1 resultando em um vetor N x 1.

A solução normalmente envolve o uso de pseudo-inversa (ou inversa generalizada). No fundo é encontrar a reta que tem menor variância em relação aos pontos existentes. Esta variância é calculada pelo somatório de:

(Yk-a*Xk-b)^2

Mas comecei a pensar

Por que uma reta? Por que não um conjunto de retas? Ou seja, por que não resolver o problema por partes?

No caso de duas retas usaríamos N1 pontos para primeira reta e N-N1 para segunda reta. O valor de N1 deveria ser determinado de modo a que a variância fosse a menor possível. Este tipo de problema tem algumas diferenças.

Primeiro a variância é calculada pelo somatório até N1 de

(Yk-a1*Xk-b1)^2

Adicionado ao somatório de N1 até N de

(Yk-a2*Xk-b2)^2

A vantagem desta representação é que pode-se avaliar possíveis pontos de ruptura ou de mudança de derivada (apesar de que possivelmente o processo deve ser contínuo). No fundo temos o problema original:

int (f(x)-a*x-b)^2 de 0 até cf

por

int (f(x)-a1*x-b1)^2 de 0 até c1 e int (f(x)-a2*x-b2)^2 de c1 até cf

Este é o problema original. Vamos ver o que podemos fazer a respeito...

sábado, 21 de agosto de 2010

Composição do Eleitorado - parte 5

Vamos agora analisar outra categoria de composição do eleitorado: o gênero (masculino & feminino).
Serra
  • Em 24/05/2010 - 47% masculino e 53% feminino
  • Em 30/06/2010 - 41% masculino e 59% feminino
  • Em 23/07/2010 - 46% masculino e 54% feminino
  • Em 16/08/2010 - 45% masculino e 55% feminino
O valor médio é de 45% do eleitorado de Serra é masculino e 55% feminino. Há uma variação de -2% do eleitorado masculino e +2% no eleitorado feminino, ao compararmos as pesquisas de 24/05 às de 16/08. No caso da pontuação de eleitores temos:
Serra
  • Em 24/05/2010 - 17% masculino e 19% feminino (total 36%)
  • Em 30/06/2010 - 16% masculino e 23% feminino (total 39%)
  • Em 23/07/2010 - 17% masculino e 20% feminino (total 37%)
  • Em 16/08/2010 - 15% masculino e 18% feminino (total 33%)
O valor médio é de 16% dos eleitores masculinos e 20% das eleitoras (36%). A diferença entre os dados da pesquisa de 24/05 e 16/08 é de -2% masculino, 0% que acham o governo Lula neutro e -1% feminino. Isto indica que os 3% de queda de Serra ocorreram nas duas categorias, mas com ênfase no eleitorado masculino.
Dilma
  • Em 24/05/2010 - 54% masculino e 46% feminino
  • Em 30/06/2010 - 58% masculino e 42% feminino
  • Em 23/07/2010 - 56% masculino e 44% feminino
  • Em 16/08/2010 - 55% masculino e 45% feminino
O valor médio é de 56% do eleitorado de Dilma é masculino e 44% feminino. Há uma variação de +1% do eleitorado masculino e -1% no eleitorado feminino, ao compararmos as pesquisas de 24/05 às de 16/08. No caso da pontuação de eleitores temos:
Dilma
  • Em 24/05/2010 - 20% masculino e 17% feminino (total 37%)
  • Em 30/06/2010 - 21% masculino e 15% feminino (total 36%)
  • Em 23/07/2010 - 20% masculino e 16% feminino (total 36%)
  • Em 16/08/2010 - 22% masculino e 18% feminino (total 40%)
O valor médio é de 21% dos eleitores masculinos e 17% das eleitoras (38%). A diferença entre os dados da pesquisa de 24/05 e 16/08 é de +2% masculino, 0% que acham o governo Lula neutro e +1% feminino. Isto é consistente com a queda de 3% de Serra, mas com ênfase no eleitorado masculino.


Então a chance é mesmo que 2% dos eleitores de Serra tenha passado para Dilma e 1% das eleitoras de Serra tenha feito o mesmo. Claro que com as incertezas associadas aos erros amostrais está afirmação não pode ser inteiramente comprovada.

Composição do Eleitorado - parte 4

Apesar de ter saído a mais nova pesquisa DATAFOLHA com Dilma a 47% das intenções de voto, acredito que tenho de ver a evolução da composição do eleitorado para ter uma idéia mais clara do que acontece.

Então vamos aos candidatos. Os dados estão um pouco distintos dos posts anteriores devido ao arredondamento e ao uso dos percentuais atualizados segundo o número de pesquisados.
Serra
  • Em 24/05/2010 - 66% acham o governo Lula positivo, 27% acham o governo Lula neutro e 7% acham o  governo Lula ruim
  • Em 30/06/2010 - 69% acham o governo Lula positivo, 25% acham o governo Lula neutro e 6% acham o  governo Lula ruim
  • Em 23/07/2010 - 64% acham o governo Lula positivo, 29% acham o governo Lula neutro e 7% acham o  governo Lula ruim
  • Em 16/08/2010 - 62% acham o governo Lula positivo, 30% acham o governo Lula neutro e 8% acham o  governo Lula ruim
O valor médio é de 65% acham o governo Lula positivo, 28% acham neutro e 7% acham ruim. A diferença entre os dados da pesquisa de 24/05 e 16/08 é de -4% que acham o governo Lula positivo, 3% que acham o governo Lula neutro e 1% que acham o governo Lula ruim. Notem que a soma dá zero, pois está analise considerar a totalidade dos eleitores de Serra e não a totalidade dos eleitores. Ainda assim dá para dizer que 2/3 dos eleitores de Serra acham o governo Lula bom.

Já a análise com relação aos pontos percentuais totais mostra um quadro diferente. Esta análise permite indicar aonde foi a perda de Serra.
Serra
  • Em 24/05/2010 - 24% acham o governo Lula positivo, 10% acham o governo Lula neutro e 3% acham o  governo Lula ruim (total 37%)
  • Em 30/06/2010 - 27% acham o governo Lula positivo, 10% acham o governo Lula neutro e 2% acham o  governo Lula ruim (total 39%)
  • Em 23/07/2010 - 24% acham o governo Lula positivo, 11% acham o governo Lula neutro e 3% acham o  governo Lula ruim (total 38%)
  • Em 16/08/2010 - 21% acham o governo Lula positivo, 10% acham o governo Lula neutro e 3% acham o  governo Lula ruim (total 34%)
O valor médio é de 24% acham o governo Lula bom, 10% acham o governo Lula neutro e 3% acham o governo Lula ruim (37%). A diferença entre os dados da pesquisa de 24/05 e 16/08 é de -3% que acham o governo Lula positivo, 0% que acham o governo Lula neutro e 0% que acham o governo Lula ruim. Isto indica que os 3% de queda de Serra ocorreram no percentual do eleitorado que acha o governo Lula bom. Para ver aonde estes 3% foram é necessário olharmos os outros candidatos.
Dilma

  • Em 24/05/2010 - 92% acham o governo Lula positivo, 7% acham o governo Lula neutro e 0% acham o  governo Lula ruim
  • Em 30/06/2010 - 95% acham o governo Lula positivo, 5% acham o governo Lula neutro e 1% acham o  governo Lula ruim
  • Em 23/07/2010 - 92% acham o governo Lula positivo, 7% acham o governo Lula neutro e 0% acham o  governo Lula ruim
  • Em 16/08/2010 - 92% acham o governo Lula positivo, 8% acham o governo Lula neutro e 1% acham o  governo Lula ruim
O valor médio é de 93% acham o governo Lula positivo, 7% acham neutro e 1% acham ruim. A diferença entre os dados da pesquisa de 24/05 e 16/08 é de -1% que acham o governo Lula positivo, 0% que acham o governo Lula neutro e 0% que acham o governo Lula ruim. Notem que a soma não dá zero, a razão está nos erros de arredondamento. Mas vamos à análise com os pontos percentuais
Dilma
  • Em 24/05/2010 - 34% acham o governo Lula positivo, 3% acham o governo Lula neutro e 0% acham o  governo Lula ruim (total 37%)
  • Em 30/06/2010 - 34% acham o governo Lula positivo, 2% acham o governo Lula neutro e 0% acham o  governo Lula ruim (total 36%)
  • Em 23/07/2010 - 32% acham o governo Lula positivo, 3% acham o governo Lula neutro e 0% acham o  governo Lula ruim (total 35%)
  • Em 16/08/2010 - 37% acham o governo Lula positivo, 3% acham o governo Lula neutro e 0% acham o  governo Lula ruim (total 40%)
O valor médio é de 34% acham o governo Lula bom, 3% acham o governo Lula neutro e 0% acham o governo Lula ruim (total é de 37%). A diferença entre os dados da pesquisa de 24/05 e 16/08 é de +3% que acham o governo Lula positivo, 0% que acham o governo Lula neutro e 0% que acham o governo Lula ruim. Isto indica que Dilma teve um ganho de 3% no percentual do eleitorado que acha o governo Lula bom (dos quais 3% podem ser reportados a Serra).

A verdade é que este tipo de análise só mostra as variações ocorridas dentro de uma categoria: popularidade do presidente. Para uma análise melhor é necessário ver outras categorias.

Isto fica para um próximo post

quinta-feira, 19 de agosto de 2010

Equação de Price

Acho que encontrei o equivalente de uma das Leis do Eletromagnetismo na biologia evolutiva


w\,\Delta{z}=\operatorname{cov}(w_i,z_i)+\operatorname{E}(w_i\,\Delta z_i) , \,\!

Esta é a chamada equação de Price. Parecem existir muitas ramificações além da biologia.

Suspeito que esta equação pode ser utilizada para explicar e possivelmente quantificar processos similares aos efeitos da evolução e seleção natural. Em outras palavras: talvez seja possível aplicá-la para fenômenos sociais.

Percebo, ao olhar para ela, que algo que sempre me escapou na descrição matemática de populações foi a interação entre o comportamento individual e o coletivo. Agora vejo que o comportamento coletivo estará ligado às médias e o individual ao agrupamento dos mesmos.

No caso da equação acima:


\Delta{z_i} \ \stackrel{\mathrm{def}}{=}\  z_i' - z_i

é a variação da característica no grupo i da geração k para k+1


\Delta{z} \ \stackrel{\mathrm{def}}{=}\  z' - z

é a variação média da característica na população da geração k para k+1. E claro que wé a aptidão associada a característica zi .

Outro ponto interessante da equação é que sua derivação é exata (matematicamente). A covariância entre a aptidão e característica no grupo i é dado por:


\operatorname{cov}(w_i,z_i)=\operatorname{E}(w_iz_i)-wz

Já o valor esperado para taxa de alteração da característica no grupo i é dado por:


\operatorname{E}(w_i\,\Delta z_i)=\operatorname{E}(w_iz'_i)-\operatorname{E}(w_iz_i)

Somando os dois termos temos:

\operatorname{cov}(w_i,z_i)+\operatorname{E}(w_i\,\Delta z_i)=wz'-wz=w\,\Delta z\,

Sinto que um modelo baseado no relacionamento entre médias e indivíduos é chave para o entendimento de um comportamento social. Mas descobrir isto é um senhor problema

segunda-feira, 16 de agosto de 2010

Composição do eleitorado - parte 3

Sairam os novos dados do DATAFOLHA. E eles são muito completos...

Para adiantar, vou colocar um primeiro post sobre estes novos dados e depois trago mais detalhes.

Serra

  • Em 14/04/2010 - 67% acham o governo Lula positivo, 26% acham o governo Lula neutro e 8% acham o governo Lula ruim
  • Em 20/05/2010 - 65% acham o governo Lula positivo, 27% acham o governo Lula neutro e 8% acham o  governo Lula ruim
  • Em 30/06/2010 - 68% acham o governo Lula positivo, 26% acham o governo Lula neutro e 6% acham o  governo Lula ruim
  • Em 26/07/2010 - 66% acham o governo Lula positivo, 28% acham o governo Lula neutro e 6% acham o  governo Lula ruim
  • Em 16/08/2010 - 63% acham o governo Lula positivo, 28% acham o governo Lula neutro e 8% acham o  governo Lula ruim

Dilma

  • Em 14/04/2010 - 93% acham o governo Lula positivo, 7% acham o governo Lula neutro e 0% acham o  governo Lula ruim
  • Em 20/05/2010 - 92% acham o governo Lula positivo, 7% acham o governo Lula neutro e 1% acham o  governo Lula ruim
  • Em 30/06/2010 - 94% acham o governo Lula positivo, 4% acham o governo Lula neutro e 0.4% acham o  governo Lula ruim
  • Em 26/07/2010 - 93% acham o governo Lula positivo, 7% acham o governo Lula neutro e 0% acham o  governo Lula ruim
  • Em 16/08/2010 - 92% acham o governo Lula positivo, 7% acham o governo Lula neutro e 1% acham o  governo Lula ruim

Marina

  • Em 14/04/2010 - 70% acham o governo Lula positivo, 24% acham o governo Lula neutro e 6% acham o  governo Lula ruim
  • Em 20/05/2010 - 67% acham o governo Lula positivo, 25% acham o governo Lula neutro e 8% acham o  governo Lula ruim
  • Em 30/06/2010 - 70% acham o governo Lula positivo, 27% acham o governo Lula neutro e 6% acham o  governo Lula ruim
  • Em 26/07/2010 - 71% acham o governo Lula positivo, 21% acham o governo Lula neutro e 2% acham o  governo Lula ruim
  • Em 16/08/2010 - 77% acham o governo Lula positivo, 22% acham o governo Lula neutro e 4% acham o  governo Lula ruim

Brancos

  • Em 14/04/2010 - 69% acham o governo Lula positivo, 22% acham o governo Lula neutro e 8% acham o  governo Lula ruim
  • Em 20/05/2010 - 57% acham o governo Lula positivo, 28% acham o governo Lula neutro e 15% acham o  governo Lula ruim
  • Em 30/06/2010 - 58% acham o governo Lula positivo, 30% acham o governo Lula neutro e 18% acham o  governo Lula ruim
  • Em 26/07/2010 - 54% acham o governo Lula positivo, 31% acham o governo Lula neutro e 14% acham o  governo Lula ruim
  • Em 16/08/2010 - 46% acham o governo Lula positivo, 29% acham o governo Lula neutro e 9% acham o  governo Lula ruim

Não sabe

  • Em 14/04/2010 - 73% acham o governo Lula positivo, 23% acham o governo Lula neutro e 5% acham o  governo Lula ruim
  • Em 20/05/2010 - 76% acham o governo Lula positivo, 23% acham o governo Lula neutro e 1% acham o  governo Lula ruim
  • Em 30/06/2010 - 78% acham o governo Lula positivo, 17% acham o governo Lula neutro e 0.5% acham o  governo Lula ruim
  • Em 26/07/2010 - 77% acham o governo Lula positivo, 21% acham o governo Lula neutro e 2% acham o  governo Lula ruim
  • Em 16/08/2010 - 77% acham o governo Lula positivo, 22% acham o governo Lula neutro e 2% acham o  governo Lula ruim

Então é possível ver algumas mudanças interessantes a partir destes dados. Eu vou a estes pontos mais tarde

Esperando os dados do DATAFOLHA

Ainda não postei nenhuma análise sobre os últimos dados da pesquisa para presidente de 2010 pois estou esperando os dados de tabela ficarem disponíveis.

Estou bastante curioso sobre as possíveis alterações nos percentuais dos candidatos - em particular da Dilma e do Serra. Não nos percentuais divulgados, mas nos calculados utilizando Bayes.

domingo, 15 de agosto de 2010

Se havia alguma dúvida...

Depois das declarações de Roriz no blog da Ana Maria Campos:
"...

Eu - O senhor acredita que tudo o que Durval contou sobre o governo Arruda aconteceu também no seu?
Roriz - Não, no meu não. Ele foi nomeado por mim. Agora eu acho que o Durval, vocês me desculpem dizer, acho que ele prestou um relevante serviço ao meu país. Ter a coragem de denunciar as falcatruas de um governo... Isso um dia vai ser reconhecido. Eu acho que ele prestou um trabalho extraordinário para o Brasil, não só para Brasília, para o Brasil. Qual é o homem que tem coragem de ser governo e denunciar o seu próprio governo? Precisa pensar nisso. Porque hoje qualquer governante tem receio, a partir da denúncia do Durval. Vamos respeitar o homem. O homem que vai moralizar a coisa pública desse país. Não foi só de Brasília, não. Mas em Brasília ele erradicou. Depôs governador, depôs vice-governador, depôs tudo.
..."

Agora não resta dúvida nenhuma: Roriz orquestrou a motivação do Fora Arruda.

Eu sempre suspeitei, mas nunca consegui nada para corroborar esta suspeita. Até esta declaração...

Só posso imaginar a sensação de ter sido uma marionete dos que participaram do movimento. Mas nem tudo está perdido: o ficha limpa foi algo que estava totalmente fora do script.

Pena que haja dúvidas sobre sua constitucionalidade.

quinta-feira, 12 de agosto de 2010

Eleições - Histórico da cotação do Real

Em mais um esforço para detonar a propaganda, estou colocando aqui a série temporal de cotação do Real com o Dólar. Os dados são do IPEA.

Espero que isto ajude a diminuir os erros que surgem quando as pessoas acreditam em propaganda enganosa.
O fato é que olhando gráfico ficam claros os momentos da flutuação do câmbio, no governo FHC, a eleição de Lula e a nova crise financeira.

Como ponto positivo do governo Lula, notem que a cotação diminuiu de modo consistente durante boa parte do seu mandato (com exceção da crise de 2008).

Já durante o governo FHC, após a flutuação do câmbio, a cotação subiu de modo consistente durante todo mandato

Tentativa para twitter

Vamos ver se este post vai funcionar como teste do twitterfeed!

terça-feira, 10 de agosto de 2010

Época de Eleições - Spin a mil

De novo surge a história de "FHC faliu o país" e "Itamar não é o pai do Real". Como isso é mentira mesmo, resolvi colocar aqui um gráfico com a série história de inflação de 1980 a 2009.

Para facilitar ainda coloquei de modo destacado a intervenção de cada governante do respectivo período de modo destacado (como um traço vertical).

Notem a eleição de 2002 - e o efeito que teve na inflação

domingo, 8 de agosto de 2010

Época de Eleições

E como já disse começa o spin:
O presidente estadual do Partido Verde no Rio, Alfredo Sirkis, ironizou hoje Plínio de Arruda, candidato à Presidência pelo PSOL.
"Ele é um burguês quatrocentão que mora em um apartamento de R$ 1 milhão falando de uma menina pobre, nascida na floresta, que se alfabetizou aos 16 anos e passou fome", disse, em referência ao apelido de "ecocapitalista" dado por Plínio à candidata do PV à Presidência, Marina Silva, durante o debate televisivo de quinta-feira.
Não deixa de ser moderadamente curioso

Pesquisas influenciam o eleitorado?

Este pergunta é tema de muitos trabalhos acadêmicos. Podemos mencionar este, este e este.

Mas o fator é que há uma grande incerteza sobre o potencial de influência de uma pesquisa.

No caso das eleições do Brasil há diversos pontos que se destacam. Um dele é como uma pesquisa pode influenciar eleições se sua divulgação é primariamente em meio impresso. No Brasil, a circulação de meio impresso é cerca de 5% da população total. Se considerarmos também a internet, talvez este número suba até 20%. Mas de qualquer modo ainda restam 80% da população para ser influenciada.

Há também a questão de pesquisas divulgadas pela televisão tem uma abrangência ainda maior. Mas o fato é que se vários institutos divulgarem, fica difícil forçar algum tipo de manipulação. O máximo efeito seria que a pesquisa talvez reforçasse os dados da população (ou seja, a pesquisa é o espelho da opinião da população, e este espelho faria a população tentar se parecer com a pesquisa).

Mas acredito que a pesquisa poderá somente influenciar o percentual de eleitores que podem mudar de voto (o que não significa indecisos). Em um post anterior eu disse:

Este valor é de cerca de 27%. A sua divisão é a seguinte: 11,44% em Serra, 7,45% em Dilma, 3,91% em Marina e 4,31% em Brancos e Nulos. O pessoal que não sabe chega a um total de 5%. 

Este resultado diz que 27% dos eleitores pode mudar o voto. Podemos imaginar que este percentual é o que potencialmente pode ser influenciado por pesquisas. E desta influência, temos que alguns podem ser sofrer efeitos positivos (p), negativos (n) ou indiferentes (i). Ou seja, os 11,4% de Serra seriam multiplicados por a soma dos efeitos positivos, negativos e indiferentes. O efeito negativo teria a ter influência contrária a da pesquisa (se Serra aumenta ele tende a diminuir, se Serra diminui ele tende a aumentar).

O fato é que mesmo estes 11,4% tem de ser categorizados sobre o grau de influência que a pesquisa tem sobre a sociedade. Nisto o primeiro passo é determinar qual é a penetração de uma pesquisa. Dado situações anteriores, eu iria longe o suficiente para afirmar que um pesquisa divulgada em televisão terá no máximo 50% de penetração. Isto é baseado em dados de pesquisa anteriores com relação a audiência de programas televisivos (o Jornal Nacional tem tido audiência na casa dos 38 pontos).

Então o potencial de mudança devido a pesquisas pode ser algo perto de 27*0.5 ou cerca de 14%. Provavelmente este percentual pode ser maior em relação ao pessoal que não sabe, mas para simplificar temos algo como potencial para mudança devido a pesquisa de 6 pontos em Serra, 4 pontos em Dilma, 2 pontos em Marina, 2 pontos em Nulos e Brancos e 2 pontos em não sabe.

Mas por enquanto só pode-se especular

quarta-feira, 4 de agosto de 2010

Ficha Limpa e Roriz

Acaba e sair a notícia que Roriz teve seu pedido de candidatura negado pelo TRE-DF.

Eu não sou eleitor dele e tenho muitas divergência com os setores que o apoiam. Então, não estou nada triste com isto.

Mas cabe um alerta de sobriedade: o resultado ainda cabe recurso no TSE (e caso seja no STF). E o problema é justamente a questão de porque o ficha limpa está sendo aplicado. Eu explico: neste caso não é nem a questão temporal do problema, mas o fato que ele está sendo enquadrado por ter renunciado.

A renúncia teve como causa provável a estratégia para escapar de uma possível cassação. Isto até as folhas das árvores já estão sabendo.

Mas causa provável não é causa certa. E mais ainda: renunciar é um direito e não há uma necessidade de provar nexo causal (por mais óbvio que ele pareça) para justificar a renúncia.

Ou seja, como não existiu um processo real contra ele a renúncia PODE ser interpretada como tentativa de escapar da cassação. Mas ao mesmo tempo PODE ser interpretada de outra forma. Não há como provar conclusivamente um caso ou outro (a não ser que exista um vídeo do Roriz explicando que renunciou para escapar da cassação).

Mas vamos como as coisas andam

terça-feira, 3 de agosto de 2010

Theodor Adorno

Estou lendo Introdução a Sociologia de Theodor Adorno.

Estou na segunda aula - o livro é organizado desta forma: cada aula é um capítulo.

Devo dizer que não estou muito contente com o que li até agora. Até o momento ele desviou de definir o que é Sociologia (se bem que de vez em quando escapou uma ou outra frase com cheiro de definição), incutiu a tradicional centelha de teoria da conspiração (o orçamento da exploração espacial é o provável responsável por não termos curado o câncer) e lançou uma ou outra idéia aqui e acolá.

Talvez seja o velho problema da dialética - que criticamente não permite conhecer nada, apenas defini-lo pelo que ele não é...

Eu tendo a desconfiar que a origem da pessoa está intimamente ligada ao seu desenvolvimento. Adorno era alemão e viveu a primeira guerra como adolescente e a segunda como adulto. Isto certamente isto foi um fator importante na construção de seu pensamento.

Quando ele menciona Auschwitz, não posso deixar de pensar que o campo de concentração (ou de trabalhos forçados, ou de contenção, ou de prisioneiros) não é um fenômeno nazista. É algo cruelmente mais abrangente e comum (mesmo os Estados Unidos e o Brasil tiveram os seus). Suspeito que eles seguem na linha de "Longe dos olhos..."

Mas vou continuar lendo e tentar extrair mais informações

segunda-feira, 2 de agosto de 2010

Mais formas de ver a diferença entre IBOPE e DATAFOLHA

Acredito que a melhor forma de ver as diferenças entre as pesquisas é mostrar os números do eleitorado em categorias
Percentuais de Serra com relação ao nível educacional:
  • DATAFOLHA - 18,18% com ensino fundamental, 14,01% com ensino médio e 4,29% com ensino superior
  • IBOPE - 16,40% com ensino fundamental, 12,25% com ensino médio e 5,18% com ensino superior
Percentuais de Dilma com relação ao nível educacional: 
  • DATAFOLHA - 16,70% com ensino fundamental, 14,77% com ensino médio e 4,68% com ensino superior
  • IBOPE - 20,90% com ensino fundamental, 14,35% com ensino médio e 4,48% com ensino superior
Percentuais de Marina com relação ao nível educacional: 
  • DATAFOLHA - 3,44% com ensino fundamental, 4,16% com ensino médio e 2,47% com ensino superior
  • IBOPE - 2,49% com ensino fundamental, 12,45% com ensino médio e 2,24% com ensino superior
Percentuais de Brancos/Nulos com relação ao nível educacional: 
  • DATAFOLHA - 1,96% com ensino fundamental, 1,89% com ensino médio e 0,65% com ensino superior
  • IBOPE - 2,49% com ensino fundamental, 2,80% com ensino médio e 1,26% com ensino superior
Percentuais de Não sabe com relação ao nível educacional: 
  • DATAFOLHA - 7,37% com ensino fundamental, 2,27% com ensino médio e 0,65% com ensino superior
  • IBOPE - 8,20% com ensino fundamental, 2,80% com ensino médio e 0,84% com ensino superior
Diferenças:
  • 4,2% a mais na contagem do IBOPE para o percentual de eleitores de Dilma com ensino médio. O resultado é um total de 3.58% a mais do que o valor do DATAFOLHA para Dilma. Para Serra há um aumento de 2,65% no DATAFOLHA. Para Marina há um aumento de 2,80% no DATAFOLHA. Os demais índices encontram-se dentro da margem de 2% esperada.
Percentuais de Serra quanto ao gênero:
  • DATAFOLHA - 17,32% são homens e 19,72% são mulheres
  • IBOPE - 15,64% são homens e 18,41% são mulheres
Percentuais de Dilma quanto ao gênero:
  • DATAFOLHA - 20,21% são homens e 15,57% são mulheres
  • IBOPE - 20,86% são homens e 18,41% são mulheres
Percentuais de Marina quanto ao gênero:
  • DATAFOLHA - 4,33% são homens e 5,71% são mulheres
  • IBOPE - 3,32% são homens e 3,68% são mulheres
Percentuais de Brancos/Nulos quanto ao gênero:
  • DATAFOLHA - 1,92% são homens e 2,59% são mulheres
  • IBOPE - 3,32% são homens e 3,16% são mulheres
Percentuais de Não Sabe quanto ao gênero:
  • DATAFOLHA - 3,37% são homens e 6,74% são mulheres
  • IBOPE - 3,79% são homens e 7,89% são mulheres
Diferenças:
  • 2,83% a mais na contagem do IBOPE para o percentual feminino de eleitores de Dilma (e 0,65% para o eleitorado masculino). O resultado é um total de 3,48% a mais do que o valor do DATAFOLHA para Dilma. Para Serra há um aumento de 2,98% no DATAFOLHA. Para Marina há um aumento de 3,04% no DATAFOLHA. Os demais índices encontram-se dentro da margem de 2% esperada.
Assim fica parecendo que a maior diferença em Dilma se concentra em um número maior de eleitores com ensino fundamental e número maior de eleitoras. Já em Serra, a diferença positiva para o DATAFOLHA é mais distribuída nas diversas categorias. Acredito que vale a pena fazer uma comparação entre as duas pesquisas do IBOPE (atual e anterior).

domingo, 1 de agosto de 2010

Alguma comparação entre o IBOPE e DATAFOLHA

Com a saída da pesquisa IBOPE e seu relatório, tenho finalmente algum parâmetro de comparação para ligar esta pesquisa a do DATAFOLHA (já comentada anteriormente).

Eu estou interessado na composição do eleitorado. Em outras palavras, quero ver se a composição é consistente.

Agora eu tenho dos dados do relatório do DATAFOLHA e do IBOPE:

Serra:
  • DATAFOLHA:  46,8% dos eleitorado é masculino e 53,2% do eleitorado é feminino
  • IBOPE:  45,9% do eleitorado é masculino e 54,1% do eleitorado é feminino
  • DATAFOLHA:  49,8% dos eleitorado tem ensino fundamental, 38,4% do eleitorado tem ensino médio e 11,8% do eleitorado tem ensino superior
  • IBOPE:  27,5% dos eleitorado tem ensino fundamental nível 1, 20,9% dos eleitorado tem ensino fundamental nível 2, 36,2% do eleitorado tem ensino médio e 15,3% do eleitorado tem ensino superior
Dilma:
  • DATAFOLHA:  56,5% dos eleitorado é masculino e 43,5% do eleitorado é feminino
  • IBOPE:  53,1% do eleitorado é masculino e 46,9% do eleitorado é feminino
  • DATAFOLHA:  46,2% dos eleitorado tem ensino fundamental, 40,8% do eleitorado tem ensino médio e 13,0% do eleitorado tem ensino superior
  • IBOPE:  31,0% dos eleitorado tem ensino fundamental nível 1, 21,6% dos eleitorado tem ensino fundamental nível 2, 36,1% do eleitorado tem ensino médio e 11,3% do eleitorado tem ensino superior
O que isto significa? Comparando os dados vemos que:
  • DATAFOLHA - 48,1% dos pesquisados são homens, 51,9% são mulheres; 49,1% estão na categoria ensino fundamental, 37,9% na categoria ensino médio e 13,0% na categoria ensino superior
  • IBOPE - 47,4% dos pesquisados são homens, 52,6% são mulheres; 30,0% estão na categoria ensino fundamental 1, 21,5% na categoria ensino fundamental 2, 34,6% na categoria ensino médio e 14,0% na categoria ensino superior
A primeira vista temos uma diferença de 0,7% entre o peso do eleitorado masculino do DATAFOLHA sobre o IBOPE (+) e 0,7% entre o peso do eleitorado feminino do DATAFOLHA sobre o IBOPE (-). Mas além disto vemos que existem 3,3% (+) do DATAFOLHA sobre o IBOPE na categoria ensino médio e 1% (-) do DATAFOLHA sobre o IBOPE na categoria ensino superior. Como a soma tem de dar 100% então existe uma diferença de 2,3% (-) do DATAFOLHA em relação ao IBOPE na categoria ensino fundamental. Isto quer dizer que o peso do IBOPE dados aos eleitores de nível fundamental é MAIOR que o peso dado pelo DATAFOLHA a mesma classe de eleitores. Isto certamente é uma fonte de desacordo, mas pode ser responsável pela diferença observada?

Comparando os dois casos no ensino médio e superior vemos que:
  • Para Serra, o DATAFOLHA estima a composição do eleitorado em 38,4% com ensino médio e 11,8% com ensino superior. Já o IBOPE estima a composição do eleitorado em 36,2% de ensino médio e 15,3% de ensino superior. Isto dá + 1,8% para DATAFOLHA na categoria ensino médio e + 3,7% para o IBOPE na categoria ensino superior. Indiretamente vemos que o IBOPE estima que o percentual do eleitorado com ensino fundamental é 48,5% e o DATAFOLHA estima que este percentual é de 49,8%.
  • Para Dilma, o DATAFOLHA estima a composição do eleitorado em 40,8% com ensino médio e 13,0% com ensino superior. Já o IBOPE estima a composição do eleitorado em 36,1% de ensino médio e 11,3% de ensino superior. Isto dá + 4,7% para DATAFOLHA na categoria ensino médio e - 1,7% para o IBOPE na categoria ensino superior. Indiretamente vemos que o IBOPE estima que o percentual do eleitorado com ensino fundamental é 52,6% e o DATAFOLHA estima que este percentual é de 46,2%.
Isto é uma indicação que a diferença é dada precisamente pelo tamanho da base considerada como ensino fundamental. Ou no DATAFOLHA ela é subestimada, ou no IBOPE ela é superestimada.

Adendo: Claro que há a possibilidade de um deles estar certo. Afinal as estimativas de categorias de população são complicadas (ex: 49,5% são homens e 50,5% são mulheres)