是不确定的,衡量它可以根据其出现的概率来度量。
概率大,出现机会多,不确定性小,反之就大。
例如,当极限条件下,一个信源只发送一种符号,即发送内容是确定的,即概率为100%,此时接收方无法从接收信号中获得任何信息,即信息的量为零。
而反之发送方和接收方约定,符号1代表二进制数字0,符号2代表二进制数字1,则接收端可以通过接收到的信源符号,获取一定信息。
而信息的大小可以用“信息熵”来表示。
他从数学上证明了,满足单调性、可加性、非负性的信息熵函数,具有一种唯一的形式。
信息熵不仅定量衡量了信息的大小,同时为信息编码提供了理论上的最优值:实用的编码平均码长的理论下界就是信息熵。即,信息熵为数据压缩的极限。
同时,这从理论上证明了,只要通信速率低于信道容量,总可以找到一种编码方式,使得误差概率接近于0。而信道容量,可以用一个简洁而美丽的公式,计算出来。
里面总结出了三个定理,分别是可变长无失真信源编码定理、有噪信道编码定理、保真度准则下的信源编码定理。
这篇论文将会,也必将,开启一个新的,广泛而重要的学科——信息论。
并为这个学科划好了终点。
兰恩最后检查了一遍语法,对照了一下末尾的引用部分,然后将这叠用打字机打出的论文文稿,装进大号牛皮纸信封里。
文稿很厚,沉甸甸的。
他准备明天去投稿,投给有过接触的期刊《应用数学与奥术杂志》。