Já pensou em como descobrir algo usando amostragem?
Eu já pensei nisso na questão da educação. Como? Meu questionamento era descobrir quantas questões deveria ter uma prova.
Sim, isto mesmo. Podemos pensar na prova como um teste estatístico aonde através de um conjunto de experimentos (cada questão), tentamos descobrir o quanto o estudante sabe do assunto. Ou seja é um problema não totalmente dissimilar ao de saber quantas bolas de determinada cor existem em um saco cheio de bolas multicoloridas.
É uma simplificação? Claro, mas as similaridades são maiores que as diferenças. Então a pergunta é: quantas bolas eu tenho de tirar de um saco para ter uma idéia da proporção de uma determinada cor?
A resposta é que para ter uma resposta exata, você precisa tirar todas as bolas. Mas para ter uma resposta com determinada probabilidade o número pode ser substancialmente menor. E é esta a questão... O problema é bastante similar ao de determinar o número de espécies em ecossistema por
amostragem.
Bem, isto pode ser visto como um problema de repetição de Bernoulli aonde você tem proporções de
p bolas da cor que você está interessado e
q=1-p bolas de outras cores. A questão interessante é você descobrir quanto é aproximadamente
p dado
N repetições
(p+q)^N.
Vamos começar supor que a cor é branca com
p=2/3. Se tiramos 3 vezes teremos como possibilidades:
- 29.62% de chances de tirarmos 3 bolas brancas (p=1)
- 44.44% de chances de tirarmos 2 bolas brancas e 1 bola não branca (p=2/3)
- 22.22% de chances de tirarmos 1 bola branca e 2 bolas não brancas (p=1/3)
- 3.7% de chances de tirarmos 3 bolas não brancas (p=0)
Isto dá 66.66% de chances de
p estar entre 1/3 e 2/3 Vamos supor agora que tiramos 6 vezes:
- 8.78% de chances de tirarmos 6 bolas brancas (p=1/6)
- 26.33% de chances de tirarmos 5 bolas brancas e 1 bola não branca (p=5/6)
- 32.92% de chances de tirarmos 4 bola branca e 2 bolas não brancas (p=2/3)
- 21.94% de chances de tirarmos 3 bolas brancas e 3 bola não branca (p=1/2)
- 8.32% de chances de tirarmos 2 bola branca e 4 bolas não brancas (p=1/3)
- 1.65% de chances de tirarmos 1 bola branca e 5 bolas não brancas (p=1/6)
- 0.13% de chances de tirarmos 5 bolas não brancas (p=0)
Isto dá 81.21% de chances de
p estar entre 1/2 e 5/6. Em 36 repetições temos 89% de chance de p estar entre 0.55 e 077
Bem, dá para entender a idéia.
Só que no caso das provas queremos saber não o valor exato, mas a probabilidade dele ser menor que um determinado ponto. Por exemplo, se a proporção é 2/3, qual a chance de tirarmos menos do que
p=0.5 por exemplo:
- No caso de tirarmos 3 vezes esta chance é de 55.7%
- No caso de tirarmos 5 vezes esta chance é de 10.0%
- No caso de tirarmos 36 vezes esta chance é de 1.2%
O problema é naturalmente quando a proporção é 1/2, um pouco acima de 1/2 (por exemplo 0.51), ou um pouco abaixo de 1/2 (por exemplo 0.49). No caso de 0.51, se tirarmos 36 vezes, a chance de encontrarmos uma proporção abaixo de 0.5 é de 38.7% (naturalmente, a chance de encontrarmos uma proporção abaixo de 0.42 é 9.88%).
O problema em questão é que quando a proporção é próxima a 1/2, o número de experimentos necessários (que no caso poderiam ser consideradas questões independentes de uma prova aumentam de modo significativo). Isso significa que o número de questões independentes para ter resolução suficiente para distinguir uma nota 4 de uma nota 5 também aumenta.
Vamos a questão real: Dado que a nota real do aluno é 5, qual o número de questões necessárias para garantir com 99% de confiança que a nota obtida em uma prova (na realidade uma avaliação satisfazendo conceitos de aleatoriedade e independência de eventos), seja maior que 4.75?
Se fizermos
uma aproximação gaussiana (considerando o limite de uma repetição de Bernoulli), chegamos que para satisfazer:
- 0.25 precisamos de 2655 questões
- 0.50 precisamos de 665 questões
- 0.75 precisamos de 296 questões
- 1.00 precisamos de 166 questões
- 1.25 precisamos de 106 questões
- 1.50 precisamos de 74 questões
- 1.75 precisamos de 54 questões
- 2.00 precisamos de 42 questões
- 2.25 precisamos de 33 questões
- 2.50 precisamos de 27 questões
- 2.75 precisamos de 22 questões
- 3.00 precisamos de 18 questões
- 3.33 precisamos de 15 questões.
O que significa isso? Que do ponto de vista de escolha de questões aleatoriamente, uma prova com 100 questões dá pouco mais que uma resolução na nota de 1.29 pontos.
Uma prova com 42 questões permite separar em quatro níveis: Superior, Médio-Superior, Médio, Médio-Insuficiente, Insuficiente. Já uma prova com
15 questões dá uma resolução de 1/3 (Superior, Médio, Insuficiente). Uma prova com
7 questões tem uma resolução próxima a 1/2 (Passa, Não Passa).
Mas o que realmente acontece? Bem, os professores acreditam na capacidade de resolução dos seus instrumentos de avaliação. Acreditam tanto que, em grande parte, atribuem capacidade de diferenciação entre alunos que os instrumentos não tem garantia de possuir. Uma prova com 7 questões (aleatórias e independentes) garante a resolução binária do
passa-não passa, mas não é o instrumento para diferenciar alunos de rendimento superior, médio ou insuficiente. Para tanto é necessária uma prova de 15 questões aleatórias e independentes.
Como garantir uma avaliação isenta então? Primeiro é necessário um banco de questões independentes tratando do assunto em estudo. Depois é necessário que estas questões sejam escolhidas aleatoriamente. Se 7 questões forem escolhidas, será possível diferenciar os estudantes nas categorias Passa e Não Passa (ou Suficiente e Insuficiente). Se 15 questões forem escolhidas é possível diferenciar os estudantes em 3 categorias: Superior, Médio e Insuficiente. Com 42 questões é possível diferenciar os estudantes em 5 categorias (Superior, Médio-Superior, Médio, Médio-Insuficiente e Insuficiente).
Tudo isto é uma aproximação. Mas uma daquelas extremamente educada!