Взаємна інформація (взаємної інформації) є корисною теорії інформації в метриці, це відноситься до кореляції між двома наборами подій
Визначення
Дві події взаємної інформації X і Y визначається наступним чином: H (X), H (Y), I (X, Y), так МалюнокI (X, Y) = H (X) H (Y) - H (X, Y)
Де H (X, Y) є спільною ентропії (спільної ентропії), яка визначається наступним чином:
H (X, Y) = - Σ р (х, у) LogP (х, у)
Де Р (х, у) є ймовірність.
Сенс
Взаємна інформація і кілька логарифмічне відношення правдоподібності випробування і Пірсона χ2 реєстрації тісно пов'язані.
Значення інформації
Інформація є суттєвою, енергія, інформація та майно маркування. Визначення зворотної інформації Вінер
Інформація є збільшення невизначеності. Визначення зворотної Шеннона
Інформація є річчю явища і його атрибут ідентифікує набір.
Сенс взаємної інформації
Взаємне теорії інформації
Як правило, завжди є шум каналу і перешкод, джерело видає повідомлення х, через канал можуть бути отримані тільки після мийки ефект через перешкоди, викликані деформацією у. Після отримання раковини припустити джерело у даного х, ймовірність того, що процес по задньому ймовірності р (х / у) описується. Відповідно, ймовірність того, що джерело даного х р (х) називається апріорної ймовірності. Визначимо х і задньої ймовірність того, що логарифм відношення попереднього ймовірності у к х взаємної інформації, також відомий як взаємної інформації (званий взаємної інформації). [1]
Інший
Взаємна інформація є мірою слово і відносини між категоріями статистичної незалежності, слово т і категорії Ci традиційної взаємної інформації визначається наступним чином:
Взаємна інформація є спільною обчислювальної моделі лінгвістики метод аналізу, який вимірює опір між двома об'єктами. Проблеми в характеристиці фільтра використовується для вимірювання дискримінації по темі. Визначення взаємної інформації та крос-ентропії наближенні. Взаємна інформація спочатку була концепція в теорії, відносини між інформацією для цього, дві випадкові змінні міра статистичної кореляцією, взаємної інформації за допомогою функції видобутку заснована на наступних припущеннях: висока частота певної категорії , але і в інших категорій з'являються відносно низьку частоту переклад взаємний обмін інформацією з класом є відносно великий. Зазвичай взаємної інформації особливість слів і категорій в якості запобіжного питання, якщо функція слова, що належать класу, то їх взаємне макс інформації. Оскільки цей метод не вимагає функція слів і характер відносин між категоріями робити ніяких припущень, тому вона підходить для класифікації текстів характеристиками і категоріями реєстрації роботи.
|