Model Kalibrasyonu: Piyasa Oranlarını Geçebildik mi? Dürüst Sonuç

ePadok'un skorlama modeli, TJK yarışlarındaki piyasa oranlarını (AGF — kolektif bahisçi bilgeliği) temel alır. Ama bir soru hep sorulur: piyasa zaten bu kadar iyiyse, bir model buna gerçekten bir şey katabilir mi? Bu yazı, bu soruyu test eden gerçek bir deneyin — uydurma değil, gerçek istatistiksel sonuçların — dürüst özetidir. Ekip, bağımsız bir test kümesinde (holdout — modelin hiç görmediği, sadece son ölçüm için ayrılmış 3.367 koşu) üç farklı kalibrasyon yöntemini (Platt, Beta, Isotonic) piyasa oranlarına uyguladı. Sonuç net: hiçbiri ham piyasa oranlarını istatistiksel olarak anlamlı şekilde iyileştiremedi. Bazı durumlarda kalibre edilmiş tahminler ham piyasadan bile hafifçe kötü çıktı. Bu yöntemler bu yüzden canlıya alınmadı — kod hazır duruyor ama kullanılmıyor. Bu, çoğu sitenin paylaşmayacağı türden bir sonuç. Ama ePadok'un yaklaşımı şu: piyasa oranları (AGF) zaten güçlü bir sinyal, üstüne rastgele bir "iyileştirme" eklemek yerine, sadece gerçekten iyileştirdiği kanıtlanmış sinyaller kullanılıyor. Nitekim bir sinyal gerçekten işe yaradı: atların birbirine göre nispi kilosu. Bu sinyali piyasa oranlarına ek olarak kullanan bir model, ilk test döneminde (3.366 koşu) hem Brier skorunda hem log-loss'ta istatistiksel olarak anlamlı iyileşme gösterdi. Daha da önemlisi, bu bulgu ikinci, tamamen bağımsız bir test döneminde (1.486 koşu, sonraki dönem) TEKRAR doğrulandı — aynı yönde, aynı anlamlılıkla. Yani bu tek seferlik bir tesadüf değil, kararlı bir sinyal. Buna rağmen bu model de henüz canlıya alınmadı — ePadok'un terfi kuralı, bir modelin canlıya çıkması için sadece "istatistiksel olarak anlamlı" olmasını değil, ek doğrulama adımlarından geçmesini şart koşuyor. Şu an bu model "aday" statüsünde, izleniyor. Bu yazının amacı: modelin ne yaptığını ve ne yapmadığını gerçek sayılarla, abartısız anlatmak. AGF zaten güçlü bir temel — model, onu köreltmek yerine, gerçekten kanıtlanmış ek sinyallerle tamamlamaya çalışıyor.