Excesso de confiança e calibração

Caso 1. Sessenta e oito pessoas de três níveis de experiência — estudantes, residentes e dermatologistas com título de especialista — receberam 50 imagens dermatológicas. Para cada uma, escolhiam um diagnóstico, declaravam quanta confiança tinham naquela resposta e diziam se gostariam de examinar melhor a lesão.

Como se esperaria, acurácia e confiança subiram com a experiência. Só que as duas subiram em ritmos diferentes. Os estudantes apresentaram excesso de confiança significativo, e o pior: alinhamento fraco entre a confiança declarada e a decisão de pedir uma inspeção adicional. Ou seja, a confiança deles nem servia para decidir quando parar.

Houve ainda dois achados que ninguém previa. Os dermatologistas foram mais acurados quando responderam depressa, e não depois de deliberar mais tempo — padrão que não valeu para os residentes. E, somando os três grupos, 12% dos melanomas foram dispensados ou não percebidos.

Caso 2. Agora a mesma pergunta feita a máquinas, o que tem uma vantagem didática: máquina não tem orgulho. Três modelos de propósito geral avaliaram 100 imagens de pele — 50 lesões benignas e 50 malignas, todas confirmadas por histopatologia. O melhor deles teve acurácia global de 71% e especificidade de 94%; o mais sensível chegou a 52% de sensibilidade. Todos deixaram passar cerca de metade das lesões malignas, sem diferença estatística entre eles (p > 0,05).

Confiança não é inútil, mas precisa ser calibrada com desfechos. Casos sem retorno produzem uma ilusão de aprendizado. Expressar probabilidade, acompanhar evolução e revisar discordâncias torna o erro visível e treinável.

Comece separando duas palavras que a linguagem comum embaralha. Acurácia é a proporção de vezes em que a resposta está certa. Calibração é o quanto a confiança declarada corresponde a essa proporção. São perguntas distintas: a primeira é sobre o mundo, a segunda é sobre a própria cabeça.

A calibração tem uma definição operacional que qualquer aluno pode aplicar. Junte todas as vezes em que você disse ter 80% de certeza. Se estiver bem calibrado, você acertou perto de 80% dessas vezes. Se acertou 55%, há excesso de confiança; se acertou 95%, há confiança insuficiente. É isso, e nada além disso — não é uma qualidade de caráter, é uma correspondência entre dois números.

Repare que uma pessoa pode ser muito acurada e mal calibrada, e vice-versa. Um especialista que acerta 90% das vezes e diz sempre ter 99% de certeza é excelente no diagnóstico e ruim em saber quando está em terreno perigoso. E é o segundo número que decide quando pedir ajuda, quando repetir o exame e quando dizer ao paciente que ainda não se sabe.

Volte ao caso 1 com essa régua na mão. O achado dos estudantes não é que eles erraram mais — isso já se sabia. É que a confiança deles não estava ligada ao comportamento seguinte: o alinhamento entre confiança declarada e decisão de inspecionar melhor era fraco. Numa cabeça bem calibrada, baixa confiança aciona uma segunda olhada. Quando esse elo não existe, a confiança deixa de ser um instrumento de segurança e vira apenas uma sensação.

O contraste com os especialistas é a parte mais interessante. Eles foram mais acurados nas respostas rápidas, e não nas demoradas — resultado que não valeu para os residentes. A leitura não é que pensar rápido seja melhor: é que, em quem já tem o padrão consolidado, a rapidez é sinal de que o caso é típico, e a demora é sinal de que ele não é. O tempo funciona ali como um marcador de dificuldade, e o especialista sabe ler esse marcador.

E os 12% de melanomas dispensados, somando todos os grupos, servem de âncora para o resto do capítulo: o problema de calibração não é um detalhe acadêmico. Ele se materializa em lesões que ninguém pediu para olhar de novo.

Uma boa pergunta impede que o capítulo vire lista de definições.

• “Quando me sinto tão seguro, com que frequência acerto e que ação a incerteza de hoje exige?”

  Confiança não é inútil, mas precisa ser calibrada com desfechos. Casos sem retorno produzem uma ilusão de aprendizado. Expressar probabilidade, acompanhar evolução e revisar discordâncias torna o erro visível e treinável.

• “Mais seguro é mais certo?”

  Só um pouco: a associação existe e é fraca.

• “Como se mede saber o quanto se sabe?”

  Juntando as vezes de igual confiança e contando os acertos.

• “Quem é mais mal calibrado?”

  Quem teve exposição curta ao conhecimento, não quem teve nenhuma.

Use pausas seletivas nos pontos em que o caso pode sair do trilho. A meta não é eliminar intuição, mas criar condições para detectar e corrigir falhas.

1. 1

   Separar acurácia de calibração

   Uma é sobre o mundo, a outra sobre a própria cabeça.

   Erro comum: Tratar as duas como sinônimos de competência.

2. 2

   Ler o achado dos estudantes

   Excesso de confiança e elo fraco com pedir inspeção.

   Erro comum: Resumir o problema deles apenas a erro de conteúdo.

3. 3

   Usar o tempo como marcador de dificuldade

   A demora sinaliza que o caso não é típico.

   Erro comum: Ignorar o próprio tempo de decisão como informação.

4. 4

   Ligar o pico à decisão de parar

   O excesso associou-se a não buscar mais informação.

   Erro comum: Ver o excesso como problema só de discurso.

5. 5

   Fazer a pergunta que separa ganho de dívida

   Quando a confiança subiu, a acurácia subiu junto?

   Erro comum: Comemorar aumento de confiança sem checar acerto.

6. 6

   Ler o exemplo doente de calibração

   Confiança de 84,62% mantida em predições falso-negativas.

   Erro comum: Comparar ferramentas apenas pela acurácia global.

7. 7

   Reconhecer que a confiança flutua com a tarefa

   Defender eleva a 5,20; contestar reduz a 4,98.

   Erro comum: Tomar a confiança como medida estável do que se sabe.

8. 8

   Fechar pela pergunta de cabeceira

   Em quantas de dez vezes assim seguro eu acerto?

   Erro comum: Deixar a dúvida sem nenhuma ação associada a ela.

Volte ao caso e aplique o modelo sem pular da seta do laudo para a conclusão. O ponto de controle é: Quando me sinto tão seguro, com que frequência acerto e que ação a incerteza de hoje exige?

• Toda leitura de calibração exige agrupar declarações de confiança semelhante e comparar com a proporção de acertos daquele grupo; um caso isolado não permite dizer se alguém é bem ou mal calibrado.
• Aumento de confiança acompanhado de aumento de acerto e de tempo de trabalho tem origem diferente de aumento de confiança isolado, e só o primeiro representa ganho real de informação.

Confundir acurácia com calibração

Acertar e saber que acertou são capacidades distintas.

Julgar calibração por um caso isolado

Ela só aparece ao agrupar declarações semelhantes.

Dizer que confiança não tem relação com acerto

Tem: razão de chances de 1,265 por unidade.

Tratar esse sinal fraco como se fosse forte

Ele não sustenta decidir conduta sozinho.

Supor que o iniciante absoluto é o mais confiante

O pico está na exposição curta ao conhecimento.

Registrar a certeza só em palavras

Provavelmente não pode ser conferido depois.

Feche o raciocínio em voz alta e deixe um plano que outra pessoa consiga revisar.

1. 01Dê uma faixa de confiança, defina o dado que a mudaria e procure o desfecho dos casos incertos ou inesperados.
2. 02Separar a pergunta sobre o mundo da pergunta sobre a própria cabeça
3. 03Identificar o próprio nível de exposição ao tema
4. 04Ler o tempo de decisão como marcador de dificuldade
5. 05Ler a confiança declarada por qualquer sistema de apoio
6. 06Fechar pela pergunta sobre acerto em dez vezes semelhantes