免費論壇 繁體 | 簡體
Sclub交友聊天~加入聊天室當版主
分享
返回列表 發帖

熵(ㄉㄧ)

熵:Entropy

圖書館學與資訊科學大辭典

1995年12月 譚修雯

名詞解釋:
熵的概念是德國物理學家克勞修斯(Rodolph Clausius)於1854年提出的,是一種對物理系統之無秩序或亂度的量度;即熱力學(Thermodynamics)中用於量度熱能(Thermal Energy)無法提供轉換成有用的功(Work)的一種物理量,是表示物理系統有序狀態的一個函數。古典熱力學第一定律認為,一定量的熱所具有的能量等於一定量的功。然而在系統中,熱能能夠成功地轉換為功,只有在能量能從溫度較高的熱源流向溫度較低的地方時,方可產生。因此,溫度差是將熱能轉換成機械能(Mechanical Energy)的過程中不可缺少的先決條件。而熵即用以表示整個系統內的溫度情況,且以其作為一個量度,可描述系統內的溫度變化和分布情況。熱能的轉換除須具備上述的條件外,亦具有熱量不會產生由溫度較低的源流向溫度較高者的特性,所以在封閉系統中實際發生的過程總是使系統的熵值增大。此過程在熱力學第二定律中稱為熵增加原理。因而,也可將熵看作是熱能在熱運動過程中不可逆的一個物理量,其反映自然界出現的熱的變化過程是有方向的,不可逆的。

古典熱力學提供熵的概念,然而繼之的統計力學(statistical Mechanics)卻以組織體的觀點再次解析熵。即以系統內的分子(Molecules)物質排列和運動概率,認為熵亦可表示粒子無規則排列的程度;或者說它表示系統的紊亂程度。系統越亂,熵就越大;系統越有序,熵就越小。所以維納(Norbert Wiener)認為「一個系統的熵就是它的無組織程度的量度。」

在資訊理論(Information Theory)中著重人是從通訊角度和需要來研究資訊的,其觀點為資訊的作用在於消除接收者的不確定性(Uncertainty),而其量值的大小就等於接收者不確定性減少的量。1948年香農(Claude E. Shannon)在其論文[A Mathematical Theory of Communication]裡,利用數學推論證明了從概率角度來論述熵,與從概率狀態來論述訊息資訊量,其兩者數學表達式具一致性。然而表示資訊量的公式與熱力學公式卻是有區別的:前者有一負號,後者卻沒有。這表明資訊量公式與熱力學公式所表示的方向相反,並非描述系統的無序狀態,而是描述系統的有序狀態,表示系統獲得資訊後無序狀態的減少或消除,即是不確定性減少的量。

綜論之,資訊理論通過概率等概念將物理熵、資訊量和有序化聯繫在一起,而「資訊與熵是互補的,資訊就是負熵」的觀念亦因此建立。

資料來源:https://terms.naer.edu.tw/detail/1680044/?index=4

什麼是熵? - What is Entropy by the Good Stuff (中文字幕)
https://www.youtube.com/watch?v=p_W3ZbsI3fo

返回列表