1. Рассчитать дискретный канал связи без памяти: Задан входной и выходной алфавит канала связи
Задано распределение вероятностей Px (x) над входным алфавитом:
x x1 x2 x3 x4 x5
p(x) Значения в таблице вариантов
Задано распределение условных вероятностей
y1 y2 y3 y4 y5
x1 Значения в таблице вариантов
x2
x3
x4
x5
− Нарисовать дискретный канал связи без памяти. Расставить стрелками связи
входного и выходного алфавитов.
− В соответствии с предложенным алгоритмом вычислить взаимную информацию
при заданном распределении вероятностей над входным алфавитом.
− Задать другое распределение вероятностей над входным алфавитом.
− Повторить расчет взаимной информации для нового распределения вероятностей
над входным алфавитом.
− Сделать вывод о пропускной канала связи
1. Начнем с построения дискретного канала связи без памяти.
В задаче у нас задан входной алфавит (x1, x2, x3, x4, x5) и выходной алфавит (y1, y2, y3, y4, y5).
Нам также дано распределение вероятностей Px(x) над входным алфавитом и таблица условных вероятностей.
Чтобы построить дискретный канал связи без памяти, мы должны нарисовать стрелки связи между входным и выходным алфавитом в соответствии с условными вероятностями.
Например, если в таблице условных вероятностей для x1 и y2 стоит значение 0.2, то мы соединяем x1 и y2 стрелкой с вероятностью 0.2.
Повторяем эту операцию для всех сочетаний входных и выходных символов, указанных в таблице условных вероятностей, и получаем дискретный канал связи без памяти.
2. Теперь давайте рассчитаем взаимную информацию для заданного распределения вероятностей над входным алфавитом.
Взаимная информация (MI) - это мера "информационной связи" между входом и выходом канала связи. Она рассчитывается с использованием формулы: MI(x, y) = ΣΣ p(x, y) * log(p(x, y) / (p(x) * p(y))), где p(x, y) - условная вероятность, а p(x) и p(y) - вероятности входа и выхода соответственно.
В простейшем случае, когда у нас задано только одно распределение вероятностей, мы можем расчитать MI следующим образом:
1) Умножаем каждое значение из таблицы условных вероятностей на соответствующие значения из таблицы Px(x).
2) Cуммируем все полученные произведения.
3) Делим полученную сумму на логарифм по основанию 2 из числа состояний входного алфавита.
Полученное значение будет в битах - единицах информации.
3. Нам также предлагается задать другое распределение вероятностей над входным алфавитом и повторить расчет взаимной информации.
Для этого мы можем поменять значения в таблице Px(x), чтобы увидеть, как изменится взаимная информация для нового распределения вероятностей.
4. После повторного расчета взаимной информации для нового распределения вероятностей, мы можем сделать вывод о пропускной способности (пропускной канал) связи.
Пропускная способность канала связи - это максимальная взаимная информация, которую можно достичь в канале связи без потерь.
Если взаимная информация для данного распределения вероятностей больше, чем для предыдущего распределения, то это означает, что канал связи стал более пропускоспособным для нового распределения.
В итоге, чтобы ответить на вопрос о пропускной способности канала связи, нужно сравнить значения взаимной информации для двух или более распределений вероятностей над входным алфавитом и выяснить, какое распределение обеспечивает более высокую взаимную информацию.