Skrót:
Mając możliwość zakładu o pieniądze np. zyskanie lub stracenie 10zł na tym, że coś się stanie, możemy to policzyć w ten sposób
E = P(X=x)
Przykładowo: Szansa na to, że ktoś słyszał o danym filmie wynosi 20%, oraz 80%, że nie słyszał.
Jeżeli ktoś słyszał to zyskujemy 10zł, jeżeli nie to tracimy 10zł
Równanie: -10*0.2 + 10*0.8 = -2 + 8 = 6, średnio zyskujemy 6zł na każdym zakładzie
Entropia
Entropia może być wykorzystana do tworzenia Drzew klasyfikujących
Może również posłużyć do określania mutual information (informacji wzajemnej) https://pl.wikipedia.org/wiki/Informacja_wzajemna
Pomagając określić związek między dwoma rzeczami.