Калькулятор ентропії Шеннона

Як користуватися калькулятором

1. Введіть значення в поле Ймовірності або кількості за категоріями — по одному на категорію, розділяючи їх пробілами, крапками з комою або новими рядками. Можна вводити ймовірності (наприклад, 0.5; 0.25; 0.25) або самі кількості (наприклад, 40; 30; 20; 10); десяткові коми теж приймаються.
2. У полі Тип введених даних оберіть «Автовизначення» (значення, сума яких дорівнює 1, трактуються як ймовірності) або явно вкажіть «Ймовірності (сума має дорівнювати 1)» чи «Кількості/частоти (з нормуванням)», якщо автоматичний вибір міг би бути неоднозначним.
3. Оберіть основу логарифма: 2 — біти, \(e\) — нати, 10 — хартлі (десяткові одиниці).
4. Зчитайте результати: ентропію Шеннона H, максимально можливу ентропію \(H_{max}\) для вашої кількості категорій, коефіцієнт ефективності \(H/H_{max}\) і розбивку за категоріями, де для кожної показано ймовірність, її інформаційний зміст і внесок у H.

Що таке ентропія Шеннона?

Ентропія Шеннона, запропонована Клодом Шенноном у 1948 році, кількісно описує невизначеність розподілу ймовірностей: наскільки важко в середньому передбачити, яка саме категорія трапиться. Це математичне сподівання несподіванки \(\log_b(1/p_i)\). Рідкісні події дивують (велике \(\log_b(1/p_i)\)), але трапляються рідко; часті події трапляються часто, але майже не дивують. Ентропія — це баланс між ними, середня несподіванка, зважена на ймовірності.

Значення H лежить у межах від 0 до \(\log_b k\). Воно дорівнює 0, коли один результат є певним (єдине \(p_i = 1\)), і сягає максимуму, коли розподіл рівномірний, бо тоді жодне припущення не має переваги над іншим. За основи 2 одиницею вимірювання є біт, і H можна буквально трактувати як очікувану кількість запитань «так/ні», потрібних, щоб визначити результат, — саме ця ідея лежить в основі стиснення даних і теорії кодування. За основи \(e\) одиницею є нат — це поширено в машинному навчанні та фізиці; основа 10 дає хартлі. Зміна основи лише змінює масштаб H: ранжування розподілів і відношення \(H/H_{max}\) залишаються тими самими.

Ефективність \(H/H_{max}\) (її також називають нормованою або відносною ентропією) показує, наскільки ваш розподіл близький до максимально невизначеного з можливих. У прикладі вище 92,32 % означають, що чотири бренди ділять ринок досить рівномірно. Значення, близьке до 0, свідчить, що результат майже передбачуваний. Оскільки ця величина безрозмірнісна, саме вона найзручніша для порівняння невизначеності розподілів з різною кількістю категорій — чого «чиста» H зробити не може, адже \(H_{max}\) зростає разом із \(k\).

Припущення, обмеження та поради

• Повний розподіл: значення мають охоплювати всі категорії. Ймовірності в сумі дають 1 (крихітні похибки заокруглення виправляються автоматично); кількості нормуються так, щоб це виконувалося.
• Нульові ймовірності: за домовленістю \(0 \cdot \log 0 = 0\), тож порожні категорії нічого не додають — але майте на увазі: категорія з нульовою ймовірністю все одно збільшує \(H_{max}\), бо зростає \(k\), а це знижує ефективність.
• Категорії, а не величини: ентропія вимірює невизначеність щодо того, яка саме категорія трапиться, а не розмір значень. Вона не враховує порядок категорій, відстані між ними та їхні назви, тож не є мірою розкиду — для цього скористайтеся калькулятором асиметрії та ексцесу.
• Вибіркові дані: за малих вибірок ентропія, оцінена з частот, має зсув донизу. Поправка на зсув для plug-in-оцінки (Міллера–Мідоу) додає \((k-1)/(2n\ln b)\), де \(n\) — загальна кількість спостережень; варто її застосувати, якщо ваші кількості малі.
• Суміжні міри: ті самі доданки \(p \log p\) фігурують у перехресній ентропії та дивергенції Кульбака–Лейблера, якою розподіл порівнюють з еталонним. Ентропія рівномірного розподілу безпосередньо пов’язана з рівномірним розподілом, а її регулярно обчислюють для матриці помилок, щоб оцінити невизначеність класифікатора. Щоб порівняти спостережуваний розподіл з очікуваним, можна також застосувати критерій Краскела–Уолліса.

Довідка: одиниці та максимальна ентропія

Щоб перейти від однієї одиниці до іншої, скористайтеся співвідношеннями \(H_{\text{біт}} = H_{\text{нат}} / \ln 2\) або \(H_{\text{біт}} = H_{\text{хартлі}} \cdot \log_2 10\). Якщо не знаєте, яку основу обрати, найбезпечніший варіант — 2: біти — найпоширеніша одиниця.