牛顿激光火焰剑理论
如果有一个词来形容我们的时代，那应该是:信息时代。
在此之前，瓦特的蒸汽机开启了蒸汽时代，而对电和磁的认识，人类进入了电时代。如今，由于人类对信息的探索，人类已经开始了信息时代。在信息时代，有发明电报的莫尔斯、发明电话的贝尔、发明无线电技术的马可尼等伟大的发明家和科学家。
莫尔斯自画像
但是一直有一个问题困扰着科学家，那就是:如何测量信息？
比如我们常说:信息量这么大。那么，什么样的信息才是海量信息呢？其实谁也说不清楚。
如果我们梦想回到牛顿时代，我们会发现在牛顿的名著《自然哲学的数学原理》中，前十几页只做了一件事，那就是定义它。
现在我们熟悉了很多概念，比如密度、质量和力。都是牛顿定义的。
牛顿的定义不同于一般的定义。他的定义使得这些物理量能够被测量和量化。
与伟大的牛顿力学相比，牛顿开创性的物理学研究方法奠定了现代物理学的基础。数学家麦克·阿尔德曾在一篇文章中总结提出:牛顿的烈焰激光剑。
翻译的是牛顿的激光火焰剑理论，具体内容是:
所有不能实验和观察的东西都不值得争论。
所以对于科学来说，定义和观测是非常重要的，国际上有七个单位。当然还有其他不在其中的，但是可以通过七个国际单位引进。
信息论
因此，信息论要成为一门科学，首先要建立信息的定义，信息可以量化和度量，也有一个可靠的单位。
事实上，科学家都知道真相，但要付诸实践真的很难。许多科学家尝试了许多方法，例如通过比较信息的重要性来测量信息，但都失败了。
直到1948年，一位天才发表了一篇题为《通信的数学原理》的文章，对信息给出了非常详细的定义，这篇文章彻底奠定了现代信息论的基础，并且一直沿用至今。这位才华横溢的作家叫克劳德·埃尔伍德·香农。
信息的基本单位:比特
香农是如何解决这个问题的？
香农认为:
一件事的信息量取决于它克服了多少不确定性。
例如，我有一个非常好的朋友和你在一起。他通常早上10点到达公司，晚上10点回家。有一天，我告诉你他今晚11点在家。这句话其实对你来说是废话，信息量为零。这是因为你知道这一刻，他大概在家。因此，意外或不确定性就是信息。
因此，香农将信息的定量测量与不确定性联系起来，给出了信息的基本单位:比特。
我们可以这样理解比特。如果抛一枚理想的硬币，正面和反面的概率完全一样。要找出它是积极的还是消极的，你需要1位信息。
如果这枚硬币不是理想硬币，但正面较重，硬币正面朝下、背面朝上抛掷的概率较大。此时，要找出正面还是背面朝上，所需信息少于1位。这是因为你有更好的机会去猜测结果。
如果稍微复杂一点，假设你在做选择题，有四个选项。如果你想确定这个问题的最终答案，你需要多少信息？
可能很多人的第一反应是:4位。其实这是不对的。要知道，你不会傻到一次问对方一个选项(通过信息消除不确定性的过程)。
如果你聪明，你会采取二分法，
你可以先问:答案在A和B之间吗？
如果对方回答:是。
那你只需要在A和B之间再问一遍:答案是A吗？
如果对方回答:是。
那么你已经确定结果是A，整个过程你只用了2位信息。
同理，先问:答案在A和B之间吗？
如果对方回答:没有。
事实上，这不包括A和B，答案在C和D之间，所以你只需要再问一次:答案是C吗？
如果对方回答:没有。
那么你已经确定结果是D，整个过程仍然使用2位信息。
你甚至可以把bit想象成人民币，假设一bit就是一美元，每次做选择都要花一美元。如果你想解决扔理想硬币的问题，你只需要一美元就能完成。如果你选择四个中的一个，你将需要2元。
那么，你现在应该明白了吗？信息实际上是用来消除不确定性的。但问题又来了。应该消除哪些不确定性？
答案是:信息来源。
这个信息源实际上是指抛硬币事件本身，它是不确定的，可能是正面的，也可能是负面的。信息源的不确定性称为信息熵。所以，我们可以知道，
信息用于消除信息熵(不确定性)。如果抛硬币的正负概率为50%，即不确定性最高后，信息熵将最大。另一方面，如果正视的概率越高，这个系统的不确定性就会越小，信息熵也会越小。
所以，信息量本身其实就是信息源的信息熵。
信息熵
因此，只要我们能计算出信息熵，那么我们就能计算出具体的信息量。
具体怎么算？实际上，香农从热力学中找到了灵感。在热力学中，熵用来表示:
系统的无序状态(不确定性)。
举个最常见的例子，如果往水里滴一点墨水，墨水就会和水混合，整个杯子里无序状态的数量就会增加(因为变得混乱)。在这里，我们可以把这个杯子里的水看作一个系统。
在物理学中，测量一个系统的混乱程度实际上可以通过计算整个系统的状态来建立。
可能性越多，不确定性越大；当状态数保持不变时，如果每个状态的可能性都相同，那么不确定性就会很大。
因此，科学家给出了一个计算系统状态数的公式(不看也没关系):
事实上，信息熵实际上代表了一个系统(信息源)的不确定性(信息熵)。
受热力学启发，香农还给出了一个类似的计算信息熵(信息量)的公式:
具体怎么用？让我们回到抛硬币的例子:
抛一枚理想硬币，信息熵为log2(2/1) = 1比特；
抛出两个理想硬币，信息熵为log2(4/1) = 2位。
自从信息论提出以来，科学家们一直在思考一个问题，这个世界是什么？我们都知道物质是由原子组成的，那么世界是原子的吗？
但我们也需要知道，原子的排列构成了世界，而排列本身就是信息，所以原子是通过交换“比特”有序排列的，这就意味着在某种程度上，世界是逐比特的。
标签： 什么叫信息约稿
