Finalizei o livro
How to Measure Anything. E mesmo tendo uma certa dose de dúvida sobre o "anything" do título, há diversos pontos que o livro realmente levanta de modo claro.
Um destes, que é próximo ao meu coração, trata exatamente da questão da qualidade. Eu fico sempre atônito quando falamos na
UnB sobre a qualidade dos alunos, qualidade do corpo docente, mas nunca, nunquinha mesmo, clarificamos o que significa esta qualidade. Pelo livro, já percebi que há toda uma série de formas de quantificar o que denominamos por "qualidade" da instituição: pode ser por inserção de ex-alunos no mercado (não é tão complicado quanto parece, com o surgimento das mídias sociais), quanto por volume de recursos captados (isso permite até fazer um ranking de universidade brasileiras), quanto por número de citações (bem mais apropriado do que pelo número de publicações - também é possível fazer um ranking utilizando o
modelo de Lens), ou mesmo por número de citações na imprensa - tudo depende do que estamos interessados em utilizar como quantificador.
A forma mais interessante de se fazer um ranking é através de uma estatística simples:
- Calculamos a média M de um conjunto C
- Calculamos o desvio padrão D do mesmo conjunto C
- Montamos uma escala aonde o valor do elemento Ci do conjunto é dado por (Ci-M)/D
Esta escala provavelmente irá no máximo de -5 até 5, para casos mais usuais. Como isto funciona? Vamos a um exemplo prático. Vamos supor que as notas (por exemplo número de citações de um departamento ou instituição) foram {10, 5, 25, 12, 32, 45 2, 16, 50}
A média
M deste conjunto é 21.89 e o desvio D é 17.29. Com isso podemos aplicar a regra 3 (acima) ao conjunto C e temos o ranking: {-0.69, -0.98, 0.18, -0.57, 0.58, 1.34, -1.15, -0.34, 1.63}. Se desejarmos podemos montar uma escala linear de notas (mas isto não é realmente necessário): {1.67, 0.63, 4.79, 2,08, 6.25, 8.96, 0.00, 2.92, 10.00}.
Este procedimento pode ser feito para N indicadores escolhidos. Se quisermos um indicador médio basta fazer a média simples dos indicadores (dos originais - não os da escala linear de notas).
Pode-se comparar o resultado com a média internacional, ou coisa que valha. Mas pelo menos há um indicador tangível do que significa ter qualidade - ao contrário do que temos hoje.