TahminciBaba her tahminin yanına bir olasılık yazar — %70, %55, %42. Bu sayı boş bir süsleme değil; ölçülebilir bir iddiadır ve zamanla doğrulanabilir ya da çürütülebilir. Bu sayfa "kalibrasyon" kavramını genel olarak anlatır ve TahminciBaba'nın bu iddiayı nasıl denetlediğini — Brier skoru ve güvenilirlik tablosuyla — gösterir.
Bir tahminci "ev sahibi kazanır: %70" dediğinde, bu cümleyi tek bir maçın sonucuyla test edemezsiniz. Maç ev sahibinin galibiyetiyle bitse de "tuttu", kaybetse de "tutmadı" demek yanlış olur — çünkü %70 zaten geri kalan %30 ihtimalle tam tersinin olacağını söylüyor. Kalibrasyon, tek bir tahminin değil, aynı olasılıkla verilmiş çok sayıda tahminin toplamda nasıl gerçekleştiğini ölçer. Bir tahminci "%70" dediği yüz olayın gerçekten yaklaşık yetmişinde haklı çıkıyorsa kalibredir; sürekli %70 deyip olayların örneğin yalnızca %40'ında haklı çıkıyorsa, sistematik olarak fazla iddialı konuşuyor demektir.
Yazı-tura atan bir madeni parayı düşünün: "her atışta %50 yazı" iddiası tek bir atışla ne doğrulanır ne çürütülür — yazı da gelse tura da gelse iddia hâlâ tutarlıdır. Bu oranın gerçekten %50'ye yakın olup olmadığını görmek için parayı onlarca, yüzlerce kez atıp sonuçların ortalamasına bakmak gerekir. Futbol tahmininde de aynı mantık işler: bir maçın tahmini doğru ya da yanlış çıkabilir, bu normaldir ve tek başına hiçbir şey kanıtlamaz. Kalibrasyonu ölçmek için TahminciBaba'nın verdiği yüzlerce, binlerce tahmine ve bunların gerçek sonuçlarına bakmak gerekir — tek maça değil.
Brier skoru, verilen olasılıkla gerçekleşen sonuç arasındaki farkın karesinin ortalamasıdır: (tahmin olasılığı − gerçek sonuç)². Gerçek sonuç 1 (oldu) veya 0 (olmadı) olarak kodlanır; skor 0'a ne kadar yakınsa tahminler o kadar iyi kalibre demektir — düşük skor iyidir.
Bir referans noktası işe yarar: 1X2 pazarında hiçbir bilgiye dayanmadan her maça eşit olasılık (üçte bir, üçte bir, üçte bir) verilseydi Brier skoru 0.667 çıkardı. TahminciBaba bu skoru yayınladığı iki pazar için ayrı ayrı hesaplar — Maç Sonucu (1X2) ve 2.5 Gol Alt/Üst — ve sonucu /performans sayfasında sürekli günceller.
Brier skoru bunu tek bir sayıya sıkıştırır ama "%70 dediğimizde gerçekten %70'i mi tutuyor" sorusunu görsel olarak cevaplamaz. Bunun için tahminler 10 puanlık dilimlere ayrılır (%50–60, %60–70, %70–80 gibi) ve her dilimde söylenen ortalama olasılıkla o dilimdeki gerçekleşme oranı yan yana konur.
Bu tabloda az örnekli dilimler gösterilmez: 20'den az maç içeren bir dilim tek başına yanıltıcı olur, bu yüzden eşiği geçmeyen dilimler tabloya hiç girmez. Ayrıca bir dilimdeki sapmanın gürültüden mi geldiği yoksa gerçek bir bozukluktan mı kaynaklandığı, örneklem büyüklüğüne göre değişen bir istatistiksel eşikle (standart hatanın iki katı) ayırt edilir — sabit bir "±12 puan" kuralı yerine. Güncel tablo /performans sayfasında yayında.
Güvenilirlik tablosu genel bir karne verir ama okuyucunun asıl sorusu genelde şudur: "bu maçtaki %70'e ne kadar güvenebilirim?" Bunun için maç detay sayfalarında bir kalibrasyon notu var: o maça verilen olasılık tablodaki doğru dilime yerleştirilir ve "bu güvenle verdiğimiz tahminler geçmişte %X'inde gerçekleşti" şeklinde gösterilir.
Bu not da aynı disiplini uygular: ilgili dilimde yeterli örnek (en az 20 maç) yoksa not hiç gösterilmez — az veriyi kanıt gibi sunmak yerine sessiz kalmayı tercih eder.