{"id":2668,"date":"2026-10-15T02:24:56","date_gmt":"2026-10-15T01:24:56","guid":{"rendered":"https:\/\/wpcalc.com\/pl\/statystyka\/entropia-shannona\/"},"modified":"2026-10-15T02:24:56","modified_gmt":"2026-10-15T01:24:56","slug":"entropia-shannona","status":"publish","type":"post","link":"https:\/\/wpcalc.com\/pl\/statystyka\/entropia-shannona\/","title":{"rendered":"Kalkulator entropii Shannona"},"content":{"rendered":"<section class=\"not-prose calculator-box\" aria-labelledby=\"calculator-title\"><div class=\"flex items-baseline sm:items-center justify-between gap-2 sm:gap-3\"><div class=\"flex flex-col sm:flex-row sm:items-center gap-2\"><span class=\"icon icon-calculator text-primary-700! text-base! dark:text-primary-300!\" aria-hidden=\"true\"><\/span><h2 id=\"calculator-title\" class=\"text-lg font-display font-bold\">Zmierz niepewno\u015b\u0107 rozk\u0142adu<\/h2><\/div><div class=\"calcdash-favorite group\">\n  <button type=\"button\" class=\"favorite\" id=\"favorite\" data-favorite-id=\"2668\" data-favorite-title=\"Entropia Shannona\" data-favorite-url=\"https:\/\/wpcalc.com\/pl\/statystyka\/entropia-shannona\/\" data-favorite-excerpt=\"Oblicz entropi\u0119 Shannona dla dowolnego zestawu prawdopodobie\u0144stw lub liczebno\u015bci. Wpisz warto\u015bci dla poszczeg\u00f3lnych kategorii, wybierz podstaw\u0119 logarytmu (bity, naty lub dity) i otrzymaj H, entropi\u0119 maksymaln\u0105 oraz efektywno\u015b\u0107.\" aria-label=\"Dodaj do ulubionych\" data-favorite-icon=\"icon icon-wpcalc-dice\">\n    <span class=\"icon icon-shape-star-empty\" aria-hidden=\"true\"><\/span>\n  <\/button>\n  <div class=\"calcdash-favorite__tip\" aria-hidden=\"true\">\n   <span class=\"favorite-tooltip\" id=\"favorite-tooltip\"><\/span>\n  <\/div>\n  <span class=\"sr-only\" role=\"status\" id=\"favorite-status\"><\/span>\n<\/div><\/div><form action=\"https:\/\/wpcalc.com\/pl\/statystyka\/entropia-shannona\/\" method=\"POST\" class=\"calculator\" id=\"calculator-2668\" data-post=\"2668\"><fieldset class=\"fieldset-input is-1\"><legend class=\"sr-only\">Pola danych<\/legend><div class=\"field\" id=\"input-1\"><label for=\"field-1\">Prawdopodobie\u0144stwa lub liczebno\u015bci kategorii<\/label><textarea id=\"field-1\" name=\"prawdopodobiestwa_lub_liczebnoci_kategorii\">40; 30; 20; 10<\/textarea><\/div><div class=\"field\" id=\"input-2\"><label for=\"field-2\">Typ danych<\/label><div class=\"grid grid-cols-1\"><select id=\"field-2\" name=\"typ_danych\"><option value=\"auto\" selected>Wykryj automatycznie<\/option><option value=\"probs\">Prawdopodobie\u0144stwa (musz\u0105 sumowa\u0107 si\u0119 do 1)<\/option><option value=\"counts\">Liczebno\u015bci \/ cz\u0119sto\u015bci (normalizowane)<\/option><\/select><svg class=\"pointer-events-none col-start-1 row-start-1 mr-2 size-5 self-center justify-self-end text-gray-500 sm:size-4\" viewBox=\"0 0 16 16\" fill=\"currentColor\" aria-hidden=\"true\" data-slot=\"icon\">\n              <path fill-rule=\"evenodd\" d=\"M4.22 6.22a.75.75 0 0 1 1.06 0L8 8.94l2.72-2.72a.75.75 0 1 1 1.06 1.06l-3.25 3.25a.75.75 0 0 1-1.06 0L4.22 7.28a.75.75 0 0 1 0-1.06Z\" clip-rule=\"evenodd\" \/>\n            <\/svg><\/div><\/div><div class=\"field\" id=\"input-3\"><label for=\"field-3\">Podstawa logarytmu<\/label><div class=\"grid grid-cols-1\"><select id=\"field-3\" name=\"podstawa_logarytmu\"><option value=\"2\" selected>2 \u2014 bity<\/option><option value=\"10\">10 \u2014 dity (hartleye)<\/option><option value=\"e\">e \u2248 2,718 \u2014 naty<\/option><\/select><svg class=\"pointer-events-none col-start-1 row-start-1 mr-2 size-5 self-center justify-self-end text-gray-500 sm:size-4\" viewBox=\"0 0 16 16\" fill=\"currentColor\" aria-hidden=\"true\" data-slot=\"icon\">\n              <path fill-rule=\"evenodd\" d=\"M4.22 6.22a.75.75 0 0 1 1.06 0L8 8.94l2.72-2.72a.75.75 0 1 1 1.06 1.06l-3.25 3.25a.75.75 0 0 1-1.06 0L4.22 7.28a.75.75 0 0 1 0-1.06Z\" clip-rule=\"evenodd\" \/>\n            <\/svg><\/div><\/div><\/fieldset><div class=\"buttons\"><button type=\"submit\" data-text=\"Przelicz ponownie\" id=\"calculate-button\" data-post=\"2668\">Oblicz<\/button><button type=\"reset\">Wyczy\u015b\u0107<\/button><\/div><div class=\"field is-checkbox hidden!\" id=\"field-auto-calc\"><input type=\"checkbox\" id=\"auto-calc\"><label for=\"auto-calc\">Obliczaj automatycznie<\/label><small>Po w\u0142\u0105czeniu wynik aktualizuje si\u0119 automatycznie po zmianie dowolnej warto\u015bci.<\/small><\/div><div class=\"fieldset-result is-hidden\" aria-labelledby=\"result-title\" aria-live=\"polite\" role=\"region\"> <h3 class=\"result-title bg-gradient-to-r from-primary-50 to-gray-50 dark:from-primary-900 dark:to-gray-800\" id=\"result-title\"><span class=\"icon icon-s-pulse\" aria-hidden=\"true\"><\/span> Wyniki: entropia Shannona<\/h3><div class=\"result-box\"><div class=\"field-result\" id=\"output-1\"><span class=\"field-title\"><span>Entropia Shannona<\/span><span class=\"result-term\">H<\/span><\/span><span class=\"field-value\" id=\"result-1\"><\/span><button type=\"button\" class=\"copy-result\" data-tooltip=\"Kopiuj wynik\" aria-label=\"Kopiuj wynik\"><span class=\"copy-icon icon icon-document-copy\" aria-hidden=\"true\"><\/span><\/button><\/div><div class=\"field-result\" id=\"output-2\"><span class=\"field-title\"><span>Maksymalna mo\u017cliwa entropia (rozk\u0142ad r\u00f3wnomierny na k kategoriach)<\/span><span class=\"result-term\">H_max<\/span><\/span><span class=\"field-value\" id=\"result-2\"><\/span><button type=\"button\" class=\"copy-result\" data-tooltip=\"Kopiuj wynik\" aria-label=\"Kopiuj wynik\"><span class=\"copy-icon icon icon-document-copy\" aria-hidden=\"true\"><\/span><\/button><\/div><div class=\"field-result\" id=\"output-3\"><span class=\"field-title\"><span>Entropia jako u\u0142amek maksimum (efektywno\u015b\u0107)<\/span><span class=\"result-term\">H \/ H_max<\/span><\/span><span class=\"field-value\" id=\"result-3\"><\/span><button type=\"button\" class=\"copy-result\" data-tooltip=\"Kopiuj wynik\" aria-label=\"Kopiuj wynik\"><span class=\"copy-icon icon icon-document-copy\" aria-hidden=\"true\"><\/span><\/button><\/div><div class=\"field-result is-column\" id=\"output-4\"><span class=\"field-title\"><span>Wk\u0142ad poszczeg\u00f3lnych kategorii<\/span><\/span><span class=\"field-value\" id=\"result-4\"><\/span><button type=\"button\" class=\"copy-result\" data-tooltip=\"Kopiuj wynik\" aria-label=\"Kopiuj wynik\"><span class=\"copy-icon icon icon-document-copy\" aria-hidden=\"true\"><\/span><\/button><\/div><div class=\"field-result is-column\" id=\"output-5\"><span class=\"field-title\"><span>Jak obliczono t\u0119 entropi\u0119<\/span><\/span><span class=\"field-value\" id=\"result-5\"><\/span><button type=\"button\" class=\"copy-result\" data-tooltip=\"Kopiuj wynik\" aria-label=\"Kopiuj wynik\"><span class=\"copy-icon icon icon-document-copy\" aria-hidden=\"true\"><\/span><\/button><\/div><\/div><div class=\"result-actions\"><button type=\"button\" class=\"copy-link\"><svg viewBox=\"0 0 20 20\" fill=\"currentColor\" aria-hidden=\"true\"><path d=\"M12.232 4.232a2.5 2.5 0 0 1 3.536 3.536l-1.225 1.224a.75.75 0 0 0 1.061 1.06l1.224-1.224a4 4 0 0 0-5.656-5.656l-3 3a4 4 0 0 0 .225 5.865.75.75 0 0 0 .977-1.138 2.5 2.5 0 0 1-.142-3.667l3-3Z\"\/><path d=\"M11.603 7.963a.75.75 0 0 0-.977 1.138 2.5 2.5 0 0 1 .142 3.667l-3 3a2.5 2.5 0 0 1-3.536-3.536l1.225-1.224a.75.75 0 0 0-1.061-1.06l-1.224 1.224a4 4 0 1 0 5.656 5.656l3-3a4 4 0 0 0-.225-5.865Z\"\/><\/svg><span class=\"copy-link__text\">Kopiuj link do tego obliczenia<\/span><\/button><span class=\"sr-only\" role=\"status\" id=\"copy-link-status\"><\/span><\/div><\/div><a href=\"#respond\" class=\"hidden transition-opacity duration-300 opacity-0 w-50 text-sm justify-center items-center gap-2 px-4 py-2 rounded bg-gray-200 text-gray-700 hover:bg-gray-300\" id=\"leave-comment\"><span class=\"icon icon-comments\" aria-hidden=\"true\"><\/span>Zostaw komentarz<\/a><\/form><\/section><section id=\"calc-reactions\" class=\"not-prose hidden my-12 bg-gradient-to-r from-primary-50 to-gray-50 border border-indigo-100 rounded-xl px-6 py-4 shadow-sm\" data-post=\"2668\" aria-live=\"polite\" aria-labelledby=\"calc-reactions-title\"><p id=\"calc-reactions-title\" class=\"text-sm text-gray-500 text-center mb-2\">Jak oceniasz ten wynik?<\/p><div role=\"group\" aria-labelledby=\"calc-reactions-title\" class=\"grid grid-cols-3 sm:flex sm:flex-row sm:justify-around gap-4 sm:items-center sm:flex-wrap\"><button type=\"button\" aria-pressed=\"false\" class=\"reaction-btn flex flex-col items-center gap-1 text-sm text-gray-700 hover:text-primary-600 cursor-pointer transition-transform hover:scale-105\" data-reaction=\"like\"><span class=\"reaction-count\" data-reaction-count=\"like\">0<\/span><span class=\"reaction text-3xl\" aria-hidden=\"true\">\ud83d\ude00 <\/span><span class=\"reaction-description font-medium\">Lubi\u0119 to <\/span><\/button><button type=\"button\" aria-pressed=\"false\" class=\"reaction-btn flex flex-col items-center gap-1 text-sm text-gray-700 hover:text-primary-600 cursor-pointer transition-transform hover:scale-105\" data-reaction=\"helpful\"><span class=\"reaction-count\" data-reaction-count=\"helpful\">0<\/span><span class=\"reaction text-3xl\" aria-hidden=\"true\">\ud83d\udca1 <\/span><span class=\"reaction-description font-medium\">Pomocne <\/span><\/button><button type=\"button\" aria-pressed=\"false\" class=\"reaction-btn flex flex-col items-center gap-1 text-sm text-gray-700 hover:text-primary-600 cursor-pointer transition-transform hover:scale-105\" data-reaction=\"confused\"><span class=\"reaction-count\" data-reaction-count=\"confused\">0<\/span><span class=\"reaction text-3xl\" aria-hidden=\"true\">\ud83d\ude15 <\/span><span class=\"reaction-description font-medium\">Niejasne <\/span><\/button><button type=\"button\" aria-pressed=\"false\" class=\"reaction-btn flex flex-col items-center gap-1 text-sm text-gray-700 hover:text-primary-600 cursor-pointer transition-transform hover:scale-105\" data-reaction=\"disappointed\"><span class=\"reaction-count\" data-reaction-count=\"disappointed\">0<\/span><span class=\"reaction text-3xl\" aria-hidden=\"true\">\ud83d\ude1e <\/span><span class=\"reaction-description font-medium\">Rozczarowanie <\/span><\/button><button type=\"button\" aria-pressed=\"false\" class=\"reaction-btn flex flex-col items-center gap-1 text-sm text-gray-700 hover:text-primary-600 cursor-pointer transition-transform hover:scale-105\" data-reaction=\"inaccurate\"><span class=\"reaction-count\" data-reaction-count=\"inaccurate\">0<\/span><span class=\"reaction text-3xl\" aria-hidden=\"true\">\u274c <\/span><span class=\"reaction-description font-medium\">Niedok\u0142adne <\/span><\/button><\/div><div id=\"reaction-message\" class=\"hidden mt-8 rounded-md border border-primary-100 bg-white\/50 backdrop-blur-sm px-4 py-2 text-sm text-center shadow-sm\"><\/div><\/section><div class=\"calcdash-ad not-prose calcdash-ad--calc_result calcdash-ad--in-article\"><ins class=\"adsbygoogle\" style=\"display:block\" data-ad-client=\"ca-pub-1721569815777345\" data-ad-slot=\"6317458308\" data-ad-layout=\"in-article\" data-ad-format=\"fluid\"><\/ins><script>(adsbygoogle = window.adsbygoogle || []).push({});<\/script><\/div>\n<style id=\"wpcoderpro-inline-1\">.formula-box {\r\n\tborder-bottom: none !important;\r\n}<\/style><section class=\"formula-box\" aria-labelledby=\"formula-title\">\r\n\t<div id=\"formula-title\" class=\"not-prose font-display mb-4\"><span class=\"icon icon-formula\" aria-hidden=\"true\"><\/span><h2>Wz\u00f3r na entropi\u0119 Shannona<\/h2><\/div>\r\n\t<figure class=\"not-prose formula\">\r\n\t\t<figcaption class=\"formula-title\">Wz\u00f3r<\/figcaption>\r\n\t\t<div class=\"text-base text-gray-800\" id=\"formula\">\n\\[ H = -\\sum_{i=1}^{k} p_i \\log_b p_i = \\sum_{i=1}^{k} p_i \\log_b \\frac{1}{p_i} \\]\n<\/div>\r\n\t<\/figure>\r\n\t<\/p>\n<p><strong>Gdzie:<\/strong><\/p>\n<ul>\n<li>\\(p_i\\) \u2014 prawdopodobie\u0144stwo kategorii \\(i\\) (liczebno\u015bci s\u0105 normalizowane: \\(p_i = n_i \/ n\\))<\/li>\n<li>\\(k\\) \u2014 liczba kategorii<\/li>\n<li>\\(b\\) \u2014 podstawa logarytmu: 2 daje bity, \\(e\\) daje naty, 10 daje dity (hartleye)<\/li>\n<\/ul>\n<p>Wz\u00f3r wyra\u017ca \u015brednie zaskoczenie, czyli warto\u015b\u0107 informacyjn\u0105, wyniku wylosowanego z tego rozk\u0142adu: ka\u017cdy sk\u0142adnik wa\u017cy informacj\u0119 \\(\\log_b(1\/p_i)\\) kategorii proporcjonalnie do tego, jak cz\u0119sto ona wyst\u0119puje.<\/p>\n<p>\r\n<\/section>\n<style id=\"wpcoderpro-inline-2\">.calculation-box {\r\n\tborder-bottom: none !important;\r\n}<\/style><section id=\"calculation\" class=\"calculation-box\" aria-labelledby=\"calculation-title\">\r\n\t<div id=\"calculation-title\" class=\"not-prose font-display\"><span class=\"icon icon-unordered-list\" aria-hidden=\"true\"><\/span><h2>Entropia Shannona \u2014 przyk\u0142ad obliczenia<\/h2><\/div>\r\n\r\n<\/p>\n<p><strong>Przyk\u0142ad:<\/strong> w ankiecie 100 os\u00f3b poproszono o wyb\u00f3r ulubionej spo\u015br\u00f3d czterech marek, a liczebno\u015bci wynios\u0142y 40, 30, 20 i 10. Liczebno\u015bci normalizujemy do prawdopodobie\u0144stw \\(p = (0.4,\\ 0.3,\\ 0.2,\\ 0.1)\\), a podstaw\u0105 jest 2 (bity).<\/p>\n<p>\\[ H = -(0.4\\log_2 0.4 + 0.3\\log_2 0.3 + 0.2\\log_2 0.2 + 0.1\\log_2 0.1) \\]<\/p>\n<p>\\[ H = 0.5288 + 0.5211 + 0.4644 + 0.3322 = 1.8464 \\text{ bit\u00f3w} \\]<\/p>\n<p>\\[ H_{max} = \\log_2 4 = 2 \\text{ bity}, \\quad \\frac{H}{H_{max}} = \\frac{1.8464}{2} = 0.9232 \\]<\/p>\n<p><strong>Wynik:<\/strong> \\(H \\approx 1.8464\\) bit\u00f3w, czyli 92,32% maksimum \u2014 rozk\u0142ad bliski jednostajnemu na czterech kategoriach.<\/p>\n<p>\n\r\n<\/section>\n<h2>Jak korzysta\u0107 z kalkulatora<\/h2>\n<ol>\n<li>Wpisz swoje warto\u015bci w polu <strong>Prawdopodobie\u0144stwa lub liczebno\u015bci kategorii<\/strong> \u2014 po jednej na kategori\u0119, oddzielone spacjami, \u015brednikami lub znakami nowej linii. Mo\u017cesz poda\u0107 prawdopodobie\u0144stwa (np. 0,5; 0,25; 0,25) albo surowe liczebno\u015bci (np. 40; 30; 20; 10); przecinki dziesi\u0119tne s\u0105 akceptowane.<\/li>\n<li>Ustaw <strong>Typ danych wej\u015bciowych<\/strong> na \u201eAutomatyczne wykrywanie\u201d (warto\u015bci sumuj\u0105ce si\u0119 do 1 s\u0105 traktowane jako prawdopodobie\u0144stwa) albo wymu\u015b \u201ePrawdopodobie\u0144stwa (mog\u0105 sumowa\u0107 si\u0119 do 1)\u201d lub \u201eLiczebno\u015bci \/ cz\u0119sto\u015bci (normalizowane)\u201d, gdyby wyb\u00f3r automatyczny by\u0142 niejednoznaczny.<\/li>\n<li>Wybierz <strong>Podstaw\u0119 logarytmu<\/strong>: 2 dla bit\u00f3w, \\(e\\) dla nat\u00f3w albo 10 dla dit\u00f3w (hartley\u00f3w).<\/li>\n<li>Odczytaj wyniki: <strong>entropi\u0119 Shannona<\/strong> H, <strong>maksymaln\u0105 mo\u017cliw\u0105 entropi\u0119<\/strong> \\(H_{max}\\) dla Twojej liczby kategorii, <strong>efektywno\u015b\u0107<\/strong> \\(H\/H_{max}\\) oraz rozbicie na kategorie pokazuj\u0105ce ka\u017cde prawdopodobie\u0144stwo, jego warto\u015b\u0107 informacyjn\u0105 i wk\u0142ad do H.<\/li>\n<\/ol>\n<h2>Czym jest entropia Shannona?<\/h2>\n<p>Entropia Shannona, wprowadzona przez Claude\u2019a Shannona w 1948 roku, wyra\u017ca ilo\u015bciowo niepewno\u015b\u0107 rozk\u0142adu prawdopodobie\u0144stwa: to, jak trudno przeci\u0119tnie przewidzie\u0107, kt\u00f3ra kategoria wyst\u0105pi. Jest warto\u015bci\u0105 oczekiwan\u0105 <em>zaskoczenia<\/em> \\(\\log_b(1\/p_i)\\). Rzadkie zdarzenia s\u0105 zaskakuj\u0105ce (du\u017ce \\(\\log_b(1\/p_i)\\)), ale zdarzaj\u0105 si\u0119 rzadko; cz\u0119ste zdarzenia zachodz\u0105 cz\u0119sto, ale ledwo zaskakuj\u0105. Entropia to r\u00f3wnowaga obu \u2014 zaskoczenie u\u015brednione wagami prawdopodobie\u0144stw.<\/p>\n<p>Warto\u015b\u0107 H mie\u015bci si\u0119 w przedziale od 0 do \\(\\log_b k\\). Wynosi 0, gdy jeden wynik jest pewny (pojedyncze \\(p_i = 1\\)), i osi\u0105ga maksimum przy rozk\u0142adzie jednostajnym, bo wtedy \u017cadna odpowied\u017a nie jest lepsza od innej. Przy podstawie 2 jednostk\u0105 s\u0105 bity i H mo\u017cna odczyta\u0107 dos\u0142ownie jako oczekiwan\u0105 liczb\u0119 pyta\u0144 tak\/nie potrzebnych do ustalenia wyniku \u2014 idea stoj\u0105ca za kompresj\u0105 danych i teori\u0105 kodowania. Przy podstawie \\(e\\) jednostk\u0105 s\u0105 naty, popularne w uczeniu maszynowym i fizyce; podstawa 10 daje dity. Zmiana podstawy tylko przeskalowuje H: kolejno\u015b\u0107 rozk\u0142ad\u00f3w i stosunek \\(H\/H_{max}\\) pozostaj\u0105 te same.<\/p>\n<p><strong>Efektywno\u015b\u0107<\/strong> \\(H\/H_{max}\\) (nazywana te\u017c entropi\u0105 znormalizowan\u0105) pokazuje, jak blisko Tw\u00f3j rozk\u0142ad jest najbardziej niepewnego z mo\u017cliwych rozk\u0142ad\u00f3w. W powy\u017cszym przyk\u0142adzie 92,32% oznacza, \u017ce cztery marki do\u015b\u0107 r\u00f3wnomiernie dziel\u0105 rynek. Warto\u015b\u0107 bliska 0 oznacza, \u017ce wynik jest niemal przewidywalny. Poniewa\u017c ten stosunek jest wielko\u015bci\u0105 bezwymiarow\u0105, jest to najwygodniejszy spos\u00f3b por\u00f3wnywania niepewno\u015bci rozk\u0142ad\u00f3w o r\u00f3\u017cnej liczbie kategorii \u2014 czego surowe H nie umo\u017cliwia, bo \\(H_{max}\\) ro\u015bnie wraz z \\(k\\).<\/p>\n<h2>Za\u0142o\u017cenia, ograniczenia i wskaz\u00f3wki<\/h2>\n<ul>\n<li><strong>Kompletny rozk\u0142ad:<\/strong> warto\u015bci musz\u0105 obejmowa\u0107 wszystkie kategorie. Prawdopodobie\u0144stwa musz\u0105 sumowa\u0107 si\u0119 do 1 (niewielkie odchy\u0142ki zaokr\u0105glenia s\u0105 automatycznie korygowane); liczebno\u015bci s\u0105 normalizowane tak, aby si\u0119 sumowa\u0142y.<\/li>\n<li><strong>Zerowe prawdopodobie\u0144stwa:<\/strong> z konwencji \\(0 \\cdot \\log 0 = 0\\), wi\u0119c puste kategorie nie wnosz\u0105 nic \u2014 ale pami\u0119taj, \u017ce kategoria o zerowym prawdopodobie\u0144stwie nadal podnosi \\(H_{max}\\), zwi\u0119kszaj\u0105c \\(k\\), co obni\u017ca Twoj\u0105 efektywno\u015b\u0107.<\/li>\n<li><strong>Kategorie, nie wielko\u015bci:<\/strong> entropia mierzy niepewno\u015b\u0107 co do tego, <em>kt\u00f3ra<\/em> kategoria wyst\u0105pi, a nie rozmiar warto\u015bci. Ignoruje kolejno\u015b\u0107 kategorii, ich odst\u0119py i etykiety, wi\u0119c nie jest miar\u0105 zmienno\u015bci \u2014 do tego s\u0142u\u017cy <a href=\"https:\/\/wpcalc.com\/pl\/statystyka\/skosnosc-i-kurtoza\/\">kalkulator sko\u015bno\u015bci i kurtozy<\/a>.<\/li>\n<li><strong>Dane z pr\u00f3by:<\/strong> przy ma\u0142ych pr\u00f3bach entropia szacowana z liczebno\u015bci jest zani\u017cona. Korekta obci\u0105\u017cenia w stylu Millera\u2013Madowa dodaje \\((k-1)\/(2n\\ln b)\\), gdzie \\(n\\) to \u0142\u0105czna liczebno\u015b\u0107 \u2014 warto j\u0105 zastosowa\u0107, gdy liczebno\u015bci s\u0105 ma\u0142e.<\/li>\n<li><strong>Miary pokrewne:<\/strong> te same sk\u0142adniki \\(p \\log p\\) pojawiaj\u0105 si\u0119 w entropii krzy\u017cowej i dywergencji Kullbacka\u2013Leiblera s\u0142u\u017c\u0105cej do por\u00f3wnywania rozk\u0142adu z rozk\u0142adem odniesienia. Entropia rozk\u0142adu jednostajnego wi\u0105\u017ce si\u0119 bezpo\u015brednio z <a href=\"https:\/\/wpcalc.com\/pl\/statystyka\/kalkulator-rozkladu-jednostajnego\/\">rozk\u0142adem jednostajnym<\/a>, a rutynowo stosuje si\u0119 j\u0105 te\u017c do <a href=\"https:\/\/wpcalc.com\/pl\/statystyka\/kalkulator-macierzy-pomylek\/\">macierzy pomy\u0142ek<\/a>, by oceni\u0107 niepewno\u015b\u0107 klasyfikatora. Do por\u00f3wnania rozk\u0142adu zaobserwowanego z oczekiwanym inn\u0105 opcj\u0105 jest <a href=\"https:\/\/wpcalc.com\/pl\/statystyka\/kalkulator-testu-kruskala-wallisa\/\">test Kruskala\u2013Wallisa<\/a>.<\/li>\n<\/ul>\n<h2>\u015aci\u0105ga: jednostki i entropia maksymalna<\/h2>\n<table>\n<thead>\n<tr>\n<th>Podstawa<\/th>\n<th>Jednostka<\/th>\n<th>\\(H_{max}\\) dla \\(k\\) kategorii<\/th>\n<th>Typowe zastosowanie<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>2<\/td>\n<td>bity<\/td>\n<td>\\(\\log_2 k\\)<\/td>\n<td>Teoria informacji, kodowanie, informatyka<\/td>\n<\/tr>\n<tr>\n<td>\\(e \\approx 2.718\\)<\/td>\n<td>naty<\/td>\n<td>\\(\\ln k\\)<\/td>\n<td>Uczenie maszynowe, mechanika statystyczna<\/td>\n<\/tr>\n<tr>\n<td>10<\/td>\n<td>dity (hartleye)<\/td>\n<td>\\(\\log_{10} k\\)<\/td>\n<td>Klasyczne miary informacji<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Aby przelicza\u0107 mi\u0119dzy jednostkami, u\u017cyj \\(H_{\\text{bits}} = H_{\\text{nats}} \/ \\ln 2\\) lub \\(H_{\\text{bits}} = H_{\\text{dits}} \\cdot \\log_2 10\\). Je\u015bli nie wiesz, kt\u00f3r\u0105 podstaw\u0119 wybra\u0107, najbezpieczniejszy wyb\u00f3r to podstawa 2 \u2014 bity s\u0105 najcz\u0119\u015bciej raportowan\u0105 jednostk\u0105.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Oblicz entropi\u0119 Shannona dla dowolnego zestawu prawdopodobie\u0144stw lub liczebno\u015bci. Wpisz warto\u015bci dla poszczeg\u00f3lnych kategorii, wybierz podstaw\u0119 logarytmu (bity, naty lub dity) i otrzymaj H, entropi\u0119 maksymaln\u0105 oraz efektywno\u015b\u0107.<\/p>\n","protected":false},"author":3168,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[11],"tags":[64],"class_list":["post-2668","post","type-post","status-publish","format-standard","hentry","category-statystyka","tag-prawdopodobienstwo"],"acf":[],"_links":{"self":[{"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/posts\/2668","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/users\/3168"}],"replies":[{"embeddable":true,"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/comments?post=2668"}],"version-history":[{"count":1,"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/posts\/2668\/revisions"}],"predecessor-version":[{"id":2722,"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/posts\/2668\/revisions\/2722"}],"wp:attachment":[{"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/media?parent=2668"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/categories?post=2668"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/wpcalc.com\/pl\/wp-json\/wp\/v2\/tags?post=2668"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}