O que significa "Entropia de Shannon"?

Índice

A entropia de Shannon é um jeito de medir a quantidade de incerteza ou surpresa em um conjunto de resultados. Ajuda a gente a entender quanta informação é gerada quando temos diferentes eventos possíveis. Por exemplo, se você tem uma moeda justa, você tem dois resultados: cara ou coroa. A incerteza nessa situação é maior do que se você tivesse uma moeda que sempre caísse em cara.

Quando a gente olha para diferentes sistemas, como sistemas de comunicação ou armazenamento de dados, a entropia de Shannon ajuda a descobrir quanta informação pode ser transmitida pelo sistema. Quanto mais imprevisíveis forem os resultados, maior será a entropia.

Em termos simples, a entropia de Shannon dá um jeito da gente ver quanta informação tá escondida em algo. Ajuda em várias áreas como codificação, compressão de dados e até na compreensão de sistemas complexos onde queremos saber quanta informação tá disponível.