Que signifie "L'entropie de Shannon"?

Table des matières

L'entropie de Shannon est une façon de mesurer la quantité d'incertitude ou de surprise dans un ensemble de résultats. Ça nous aide à comprendre combien d'infos sont produites quand on a différents événements possibles. Par exemple, si t'as une pièce équilibrée, t'as deux résultats : face ou pile. L'incertitude dans ce cas est plus grande que si t'avais une pièce qui tombe toujours sur face.

Quand on explore différents systèmes, comme les systèmes de communication ou de stockage de données, l'entropie de Shannon nous aide à comprendre combien d'infos peuvent circuler dans le système. Plus les résultats sont imprévisibles, plus l'entropie sera élevée.

En gros, l'entropie de Shannon nous donne un moyen de voir combien d'infos sont cachées dans quelque chose. Ça aide dans plein de domaines comme le codage, la compression de données, et même pour comprendre des systèmes complexes où on veut savoir combien d'infos sont disponibles.