ROC AUC Hesaplayıcı
Sınıf etiketlerini (0/1) ve tahmin puanlarını girin; ROC AUC, Gini katsayısı, Youden J'ye göre en iyi eşik değeri, karışıklık matrisi ve ROC eğrisinin tüm noktaları hesaplanır.
Puanlarınızın iki sınıfı ne kadar iyi ayırdığını ölçün
ROC AUC Formülü
Buradaki gösterimler:
- \(P\) — pozitif (etiketi 1) vakaların sayısı
- \(N\) — negatif (etiketi 0) vakaların sayısı
- \(s_+\) — pozitif bir vakanın puanı; \(s_-\) — negatif bir vakanın puanı
- \(G\) — Gini katsayısı (Somers D), AUC'nin yeniden ölçeklenmiş hali
- \(J\) — Youden J istatistiği, en iyi eşik değerini bulmak için kullanılır
AUC, rastgele seçilen bir pozitif vakanın, rastgele seçilen bir negatif vakadan daha yüksek puan alma olasılığıdır (berabere kalan çiftler yarım başarı sayılır). ROC eğrisinin altındaki yamuk alana ve Mann–Whitney U istatistiğinin \(P \cdot N\) değerine bölünmesine eşittir.
ROC AUC – Örnek Hesaplama
Örnek: 10 vaka, 5 pozitif ve 5 negatif, varsayılan puanlarla. Pozitif puanları 0,9; 0,85; 0,8; 0,75 ve 0,6; negatif puanları ise 0,7; 0,4; 0,3; 0,2 ve 0,1'dir.
Toplam \(P \cdot N = 25\) pozitif–negatif çift vardır. Bunların 24'ünde pozitif vaka daha yüksek puan alır; yanlış sıralanan tek çift (0,6; 0,7)'dir. Berabere çift olmadığından:
\[ \text{AUC} = \frac{24 + \tfrac{1}{2}\cdot 0}{5 \times 5} = 0.96 \]
Sonuç: AUC = 0,96, Gini katsayısı \(2 \times 0.96 - 1 = 0.92\). Youden J'ye göre en iyi eşik değeri puan ≥ 0,6 olarak bulunur (duyarlılık %100, özgüllük %80, \(J = 0.8\)). Varsayılan 0,5 eşiğinde karışıklık matrisi TP = 5, FP = 1, FN = 0, TN = 4'tür (doğruluk %90).
Hesaplayıcı nasıl kullanılır?
- Gerçek sınıf etiketlerini (0 veya 1) ilk alana yapıştırın — her vaka için bir etiket; boşluk, satır sonu veya noktalı virgülle ayırın. Pozitif sınıf için 1, negatif sınıf için 0 kullanın.
- Tahmin puanlarını ikinci alana, etiketlerle aynı sırayla yapıştırın. Herhangi bir sayısal ölçek uygundur (olasılıklar, model çıktıları, puanlamalar); ondalık virgül gösterimi kabul edilir.
- İsterseniz karışıklık matrisi için eşik değerini değiştirin (varsayılan 0,5). Bir vakanın puanı bu değere eşit ya da üzerindeyse pozitif öngörülür. Eşik değeri AUC'yi etkilemez.
- Sonuçları okuyun: ROC eğrisi altındaki alan, Gini katsayısı, en iyi eşik değeri (Youden J), seçtiğiniz eşikteki karışıklık matrisi ve grafiğe dökebileceğiniz ROC eğrisi noktaları tablosu.
İki listenin uzunluğu aynı olmalı ve veride en az bir pozitif ile bir negatif vaka bulunmalıdır; aksi hâlde hiçbir sıralama değerlendirilemez.
ROC AUC nedir?
ROC eğrisi (Receiver Operating Characteristic), bir ikili sınıflandırıcının olası her eşik değerindeki performansını gösterir. Eğri üzerindeki her nokta, puanı belirli bir eşiğin üzerinde ya da eşit olan tüm vakalar pozitif sayılarak elde edilen (yanlış pozitif oranı, doğru pozitif oranı) çiftidir. Eşik değeri yüksekten düşüğe doğru süpürüldükçe eğri; başlangıç noktasından (hiçbir vaka pozitif öngörülmez) sağ üst köşeye (her vaka pozitif öngörülür) doğru çizilir.
AUC — bu eğrinin altındaki alan — tüm eğriyi tek bir sayıda özetler. Doğrudan olasılıksal bir anlamı vardır: rastgele seçilen bir pozitif vakanın, rastgele seçilen bir negatif vakadan daha yüksek puan alma şansı. Kusursuz bir sıralama AUC = 1 verir; işe yaramayan (rastgele) bir sıralama AUC = 0,5 verir; tutarlı biçimde ters kurulan bir sıralama ise AUC < 0,5 verir; bu durumda puanlarınızın yönünü ters çevirmeniz gerekir.
Kaba bir yol gösterici: 0,9–1 mükemmel, 0,8–0,9 iyi, 0,7–0,8 orta, 0,6–0,7 zayıf, 0,5 şans düzeyiyle aynıdır. Gini katsayısı \(2\cdot\text{AUC}-1\) bunu, 0'ın şansı ve 1'in kusursuzluğu göstereceği biçimde yeniden ölçekler; kredi skorlamasında yaygın kullanılır ve orada Somers D olarak da adlandırılır.
Doğruluk (accuracy) veya kesinlikten (precision) farklı olarak AUC eşikten bağımsızdır: puanların vakaları ne kadar iyi sıraladığını, daha sonra hangi eşiği seçeceğinizden bağımsız ölçer. Bu özelliği onu puanlama modellerini karşılaştırmak için doğal bir metrik yapar; ama aynı zamanda kalibrasyon hakkında hiçbir şey söylemediği anlamına gelir — 0,8'lik bir puanın %80 olasılığa karşılık gelmesi gerekmez. Belirli bir eşikte karışıklık matrisi metriklerine ihtiyacınız varsa bu aracı Karışıklık Matrisi hesaplayıcısıyla birlikte kullanın.
Eşik değeri seçimi
Hesaplayıcı, Youden J istatistiğini \(J = \text{duyarlılık} + \text{özgüllük} - 1\) en üst düzeye çıkaran eşik değerini bildirir — ROC eğrisi üzerindeki köşegene en uzak nokta. Bu makul bir varsayılan seçimdir ama her zaman uygulamada en iyisi olmayabilir. Tıbbi taramalarda yüksek duyarlılık isteyip daha fazla yanlış pozitifi kabul edebilirsiniz; doğrulayıcı bir testte ya da maliyetli incelemeler gerektiren dolandırıcılık tespitinde özgüllük daha ağır basabilir. Duyarlılık/özgüllük dengesini her farklı puan düzeyinde görmek için ROC noktaları tablosunu kullanın ve maliyetlerinize uyan eşiği seçin.
AUC bir sıralama ölçüsü olduğundan diğer sıra istatistikleriyle yakından ilişkilidir. Sıralama uyumunu daha genel olarak inceliyorsanız Kendall Tau hesaplayıcısı, iki değişken arasındaki uyumlu ve uyumsuz çiftleri hesaplar.
Varsayımlar, sınırlılıklar ve ipuçları
- Yalnızca ikili sonuçlar. Etiketler tam olarak 0 veya 1 olmalıdır. Çok sınıflı sorunlarda sınıf başına bir AUC hesaplayın (bire karşı diğerleri yöntemi).
- Bağımsızlık. Her vaka bir etiket ve bir puan içerir; vakaların bağımsız olduğu varsayılır. Aynı denekten alınan yinelenen ölçümler bu varsayımı ihlal eder.
- Berabere durumları, her berabere pozitif–negatif çiftin yarım başarı sayılmasıyla ele alınır; bu, yamuk yöntemli AUC ve Mann–Whitney U kuralıyla uyumludur.
- Küçük örneklem. Vaka sayısı azken AUC'nin güven aralığı geniştir; yanına bir Hanley–McNeil ya da DeLong aralığı eklemeye değer. Varsayılan 10 vakalı örnek yalnızca gösterim amaçlıdır.
- Sınıf dengesizliği. AUC, pozitif/negatif karışımından etkilenmez; bu bir avantaj olabileceği gibi kör bir nokta da olabilir — bir model, birçok gerçek pozitifi gözden kaçırırken bile yüksek AUC'ye sahip olabilir. Pratik etkiyi görmek için karışıklık matrisini ve olasılık oranı gibi metrikleri denetleyin.
- AUC < 0,5, puanlarınızın ters kurulu olduğu anlamına gelir: ya "puan ≤ eşik" mantığını kullanın ya da etiketleri birbirinin yerine koyun.
Sıkça Sorulan Sorular
AUC'yi hiçbir yazılım kullanmadan elle nasıl hesaplarım?
Tüm pozitif puanları ve tüm negatif puanları listeleyin, ardından bütün pozitif–negatif çiftleri karşılaştırın. Pozitif puanın kesin olarak yüksek olduğu kaç çift olduğunu sayın; berabere çiftler 0,5 sayılır. Bulduğunuz değeri toplam çift sayısına bölün. 4 pozitif ve 6 negatif varsa 24 çift olur; 21'i doğru sıralanmış ve 2'si berabere kalmışsa \(\text{AUC} = (21 + 1)/24 \approx 0.92\). Bu tam olarak Mann–Whitney U istatistiğinin \(P \cdot N\) değerine bölünmesidir.
AUC 1'den büyük ya da negatif olabilir mi?
Hayır. AUC bir olasılıktır, bu yüzden her zaman 0 ile 1 arasındadır. El hesabınız bu aralığın dışında bir değer veriyorsa çiftleri yanlış saymış ya da sınıfları yanlış etiketlemişsinizdir. 0,5'in altındaki bir AUC matematiksel olarak geçerlidir — yalnızca puanlarınızın ters yönde sıralandığı anlamına gelir; karşılaştırmayı ters çevirmek (daha düşük puanları daha pozitif saymak) onu 1 − AUC değerine dönüştürür.
Güvenilir bir AUC için kaç vaka gerekir?
Sabit bir alt sınır yoktur ama hassasiyet yavaş artar. 10 pozitif ve 10 negatifle AUC 1/100'lük adımlarla değişir ve %95 güven aralığı kolayca 0,2 veya daha geniş bir aralığı kapsayabilir. Kaba bir kural olarak, yaklaşık bir tahmin için sınıf başına en az 20–30 vaka hedefleyin; okuyucular tek bir sayıya bel bağlamak yerine belirsizliği kendileri değerlendirebilsin diye yanına bir DeLong ya da Hanley–McNeil güven aralığı ekleyin.
Daha yüksek AUC her zaman daha iyi bir model midir?
Her zaman değil. AUC yalnızca sıralama kalitesini ölçer; dolayısıyla bir model uygulamada zayıf performans gösterirken yüksek puan alabilir — örneğin pozitiflerin seyrek olduğu durumlarda birçok gerçek vakayı gözden kaçırırken güçlü bir AUC'yi koruyabilir. Ayrıca kalibrasyonu ve hataların gerçek maliyetini de yok sayar. AUC'yi daima gerçekçi bir eşikteki karışıklık matrisiyle birlikte değerlendirin ve kendi karar probleminiz için kesinlik (precision), duyarlılık (recall) ya da lift gibi metrikleri de göz önüne alın.
Eşik değerini değiştirdiğimde AUC neden değişmiyor?
Bu beklenen bir durumdur. AUC, modeli tüm olası eşik değerlerinde aynı anda özetlediğinden tek bir eşik onu etkileyemez. Eşik değerini değiştirmek sizi yalnızca ROC eğrisi üzerinde hareket ettirir; hangi noktada çalıştığınızı, dolayısıyla karışıklık matrisini, doğruluğu, kesinliği ve duyarlılığı değiştirir. Bu dengeyi incelemek için eşik alanını; bir model seçmeden önce modelleri karşılaştırmak için AUC'yi kullanın.
Gini katsayısı AUC ile nasıl ilişkilidir?
Doğrusal bir yeniden ölçeklemedir: \(G = 2\times\text{AUC} - 1\). Şans düzeyindeki performans (AUC 0,5) Gini 0'a, kusursuz bir sıralama Gini 1'e karşılık gelir. Kredi skorlaması ve ekonomi yayınlarında çoğunlukla Gini ya da eşdeğeri olan Somers D'ye değinilir; makine öğrenmesi makalelerinde ise AUC kullanılır — ikisi aynı bilgiyi taşıdığından aralarında dönüşüm tek bu formülle yapılır.
Bu hesaplayıcıyı ikiden fazla sınıf için kullanabilir miyim?
Doğrudan hayır — ROC eğrisi ikili sonuçlar için tanımlıdır, bu yüzden etiketler 0 veya 1 olmalıdır. Çok sınıflı bir sorun için sınıf başına bir AUC hesaplayın (bire karşı diğerleri yöntemi): ilgili sınıfı 1 alın, diğer tüm sınıfları 0'da birleştirin ve hesaplamayı her sınıf için ayrı ayrı yürütün. Sonucu özetlemek için sınıf başına AUC değerlerinin ortalamasını alın; bu genellikle eşit ağırlıklarla (makro ortalama) ya da sınıf sıklıklarıyla ağırlıklandırılarak yapılır.