Bounds on mutual information for simple codes using information combining

For coded transmission over a memoryless channel, two kinds of mutual information are considered: the mutual information between a code symbol and its noisy observation and the overall mutual information between encoder input and decoder output. The overall mutual information is interpreted as a combination of the mutual informations associated with the individual code symbols. Thus, exploiting code constraints in the decoding procedure is interpreted as combining mutual informations. For single parity check codes and repetition codes, we present bounds on the overall mutual information, which are based only on the mutual informations associated with the individual code symbols. Using these mutual information bounds, we compute bounds on extrinsic information transfer (exit) functions and bounds on information processing characteristics (ipc) for these codes.RésuméDans le cas d’une transmission codée sur un canal sans mémoire, deux types d’information mutuelle sont pris en compte : d’une part l’information mutuelle entre un symbole de code et son observation bruitée et, d’autre part, l’information mutuelle globale entre l’entrée du codeur et la sortie du décodeur. Cette dernière peut s’exprimer par une combinaison des informations mutuelles associées aux symboles de code individuel. Par conséquent, l’exploitation des contraintes du code dans le procédé de décodage peut être interprétée par une combinaison d’informations mutuelles. Pour des codes à un seul contrôle de parité et des codes à répétition, nous présentons des bornes sur l’information mutuelle globale basées uniquement sur les informations mutuelles associées aux symboles de code individuels. Utilisant ces bornes, nous calculons des bornes sur les fonctions de transfert de l’information extrinsèque (exit), ainsi que des bornes sur les caractéristiques de traitement de l’information (ipc) pour ces codes.