С чем лучше начать работу с канальными матрицами?

Как вычислить условную информационную энтропию в контексте данной канальной матрицы объединения?
  • 31 марта 2024 г. 21:49
Ответы на вопрос 2
Для начала работы с канальными матрицами рекомендуется изучить основные понятия и принципы теории информации, такие как энтропия, вероятность событий, условная энтропия и т.д. 

Для вычисления условной информационной энтропии в контексте канальной матрицы объединения, необходимо использовать формулу условной энтропии:

H(X|Y) = H(X,Y) - H(Y)

где H(X|Y) - условная энтропия X при условии Y, H(X,Y) - совместная энтропия X и Y, H(Y) - энтропия Y.

Для вычисления совместной энтропии и энтропии Y можно использовать следующие формулы:

H(X,Y) = - ΣΣ p(x,y) log2 p(x,y)
H(Y) = - Σ p(y) log2 p(y)

где p(x,y) - вероятность совместного появления событий X и Y, p(y) - вероятность события Y.

После подсчета всех значений и подстановки их в формулу можно получить необходимое значение условной информационной энтропии.
p(x,y) - это вероятность наступления события x и y вместе: 
- Строки - это Xi
- Столбцы - это Yi

Т.е. если суммировать по 2 столбцу получишь априорную вероятность наступления Y2 - 0.25 (когда не знаем наступил ли Xi)

Теперь, переходим к формуле энтропии:

Похожие вопросы