Задача:

Вычислите энтропию Шеннона H данной входной строки.

Учитывая выборочную случайную переменную $ X $, которая представляет собой строку из $ N $ "символов" (всего символов), состоящую из $ n $ различных символов (n = 2 для двоичных), энтропия Шеннона X в битах / символе:

$ H_2 (X) = - \ sum_ {i = 1} ^ n \ frac {count_i} {N} \ log_2 \ left (\ frac {count_i} {N} \ right) $

где $ count_i $ - количество символов $ n_i $.