Калькулятор энтропии Шеннона

Как пользоваться калькулятором

1. Введите значения в поле «Вероятности или количества по категориям» — по одному на категорию, разделяя их пробелами, точками с запятой или переносами строк. Можно указать вероятности (например, 0,5; 0,25; 0,25) или исходные количества (например, 40; 30; 20; 10); десятичной запятой пользоваться можно.
2. Установите «Тип входных данных» в режим «Автоопределение» (значения, дающие в сумме 1, считаются вероятностями) либо принудительно выберите «Вероятности (должны давать в сумме 1)» или «Количества / частоты (нормализуются)», если автоматический выбор неоднозначен.
3. Выберите основание логарифма: 2 — для битов, \(e\) — для натов, 10 — для дитов (хартли).
4. Прочитайте результаты: энтропия Шеннона H, максимальная возможная энтропия \(H_{max}\) для вашего числа категорий, эффективность \(H/H_{max}\) и разбивка по категориям с вероятностью каждой, её информативностью и вкладом в H.

Что такое энтропия Шеннона?

Энтропия Шеннона, предложенная Клодом Шенноном в 1948 году, измеряет неопределённость распределения вероятностей: насколько трудно в среднем предсказать, какая категория выпадет. Это математическое ожидание «неожиданности» исхода \(\log_b(1/p_i)\). Редкие события удивляют сильно (большая величина \(\log_b(1/p_i)\)), но случаются редко; частые события происходят часто, но почти не удивляют. Энтропия — равновесие между этими двумя факторами, средневзвешенная по вероятностям неожиданность.

Значение H лежит в пределах от 0 до \(\log_b k\). Оно равно 0, когда один исход предопределён (единичная вероятность \(p_i = 1\)), и максимально при равномерном распределении — тогда никакая догадка не лучше другой. При основании 2 единицей измерения служит бит, и H можно понимать буквально как ожидаемое число вопросов «да/нет», необходимых для выяснения исхода — идея, лежащая в основе сжатия данных и теории кодирования. При основании \(e\) единицы называются натами, они распространены в машинном обучении и физике; основание 10 даёт диты. Смена основания лишь меняет масштаб H: порядок распределений по величине энтропии и отношение \(H/H_{max}\) остаются прежними.

Эффективность \(H/H_{max}\) (её также называют нормированной или относительной энтропией) показывает, насколько ваше распределение близко к максимально неопределённому. В примере выше 92,32% означают, что четыре бренда делят рынок почти поровну. Значение, близкое к 0, говорит о том, что исход почти предсказуем. Поскольку это отношение безразмерно, оно удобнее всего для сравнения неопределённости распределений с разным числом категорий — чего «сырая» величина H сделать не может, ведь \(H_{max}\) растёт вместе с \(k\).

Допущения, ограничения и советы

• Полное распределение: значения должны охватывать все категории. Вероятности обязаны давать в сумме 1 (небольшая погрешность округления исправляется автоматически); количества нормализуются так, чтобы это условие выполнялось.
• Нулевые вероятности: по соглашению \(0 \cdot \log 0 = 0\), поэтому пустые категории ничего не добавляют — но учтите, что категория с нулевой вероятностью всё же увеличивает \(k\), а значит, и \(H_{max}\), снижая эффективность.
• Категории, а не величины: энтропия измеряет неопределённость относительно того, какая категория выпадет, а не размер значений. Она не учитывает порядок категорий, расстояния между ними и их названия, поэтому энтропия — не мера разброса; для этого воспользуйтесь калькулятором асимметрии и эксцесса.
• Выборочные данные: при малых выборках энтропия, оценённая по количествам, занижается. Поправка на смещение (Миллера–Мэдоу) добавляет \((k-1)/(2n\ln b)\), где \(n\) — суммарное количество наблюдений; при малых количествах её стоит применять.
• Родственные меры: те же слагаемые \(p \log p\) фигурируют в перекрёстной энтропии и дивергенции Кульбака–Лейблера, которыми распределение сравнивают с эталонным. Энтропия равномерного распределения напрямую связана с равномерным распределением, а к матрице ошибок её routinely применяют для оценки неопределённости классификатора — точнее, её регулярно применяют. Для сравнения наблюдаемого распределения с ожидаемым можно также использовать критерий Краскела–Уоллиса.

Краткая справка: единицы и максимальная энтропия

Для перевода между единицами используйте \(H_{\text{бит}} = H_{\text{нат}} / \ln 2\) или \(H_{\text{бит}} = H_{\text{дит}} \cdot \log_2 10\). Если не уверены, какое основание выбрать, берите 2 — биты встречаются в отчётах чаще всего.