ENTROPIE D'UNE SOURCE D'INFORMATIONS

Soit une spource définie par :

Définition : On appellle entropie de la source, la quantité moyenne d'information par symbole 

Exemple : cas du signal binaire

H est maximum pour p=1/2 avec H=1logon/bit

Cas général

Hest maximum pour des signaux équiprobables p=1/n