Mes deux domaines scientifiques préférés sont sans doute la thermodynamique et la théorie de l’information. L’histoire a su allier ces 2 grands domaines avec élégance pour comprendre le paradoxe du démon de Maxwell.
En 1871, James Clerk Maxwell (celui de la théorie électromagnétique) tente de contredire le second principe de la thermodynamique en inventant une expérience de pensée dans laquelle il invoque un « démon » mais ce n’est véritablement qu’en 1949 que Léon Brillouin, en utilisant la théorie de l’information, va permettre de lever le voile sur le paradoxe de cette expérience de pensée et redonner au second principe de la thermodynamique son caractère universel.
Le second principe de la thermodynamique
C’est un des principes de la physique les plus intéressants dans le sens où il cache de nombreuses implications. Il est au premier abord difficile à comprendre à cause de la notion d’entropie qui n’est pas facile à appréhender mais on l’entend souvent de la manière vulgarisée suivante :
« Le désordre d’un système isolé ne peut qu’augmenter dans le temps »
L’entropie d’un système est en quelque sorte son désordre. Si tous les atomes d’un gaz bougent lentement, il y a peu de chocs entre eux et l’entropie sera alors faible (et le gaz sera froid). Au contraire, si tous les atomes d’un gaz bougent rapidement, les chocs entre eux sont nombreux et l’entropie est grande (et le gaz sera chaud). On considère ici des systèmes isolés, c’est-à-dire qui n’échangent ni matière ni énergie avec l’extérieur (donc pas de chaleur non plus).
Le second principe stipule donc que toutes les transformations que peut subir un système isolé génèrent de l’entropie (du désordre) et que cette grandeur ne peut donc qu’augmenter dans le temps. Ceci veut dire que pour créer de l’ordre (faire baisser l’entropie), un agent extérieur doit forcément intervenir. Notre Univers voit donc son entropie totale augmenter vers l’infinie en permanence vue que rien n’est externe à l’Univers par définition.
Une des conséquences importantes de ce principe est que toutes les transformations que peut subir un système isolé ne peuvent se dérouler que dans un sens précis en suivant « la flèche du temps ». Les transformations sont ainsi qualifiées d’irréversibles dans le temps car génératrices d’entropie. Quelques exemples de transformations irréversibles évidentes dans la vie quotidienne :
- Lorsque l’on mélange du sirop dans un verre d’eau, jamais le sirop et l’eau ne vont complètement se re-séparer spontanément dans le verre.
- Lorsque l’on mélange de l’eau chaude et de l’eau froide dans un verre, jamais l’eau chaude et l’eau froide ne vont complètement se re-séparer spontanément dans le verre.
- Si un verre tombe par terre et se casse, jamais il ne se reconstituera par lui-même.
L’expérience de Maxwell
L’expérience pensée par Maxwell pour contredire le second principe de la thermodynamique est relativement simple à comprendre mais extrêmement difficile à mettre en œuvre, d’où la création de ce « démon ».
Imaginons 2 compartiments contigus dans lesquels on a mis d’un coté un gaz froid et de l’autre un gaz chaud. Il existe une porte entre ces 2 compartiments et un démon peut l’ouvrir et la fermer à sa guise. Le démon, malicieux, ouvre la porte de manière à ce que les atomes rapides passent dans le compartiment chaud et que les atomes lents passent dans le compartiment froid. Ainsi, plus le temps s’écoule et plus le gaz chaud se réchauffe et plus le gaz froid se refroidit.
Cette observation est en contradiction avec le second principe de la thermodynamique car les 2 compartiments voient leur entropie décroître : en effet, il y a plus d’ordre qu’au départ comme on a séparé les atomes rapides de ceux plus lents. La thermodynamique nous dit que dans le temps, les températures des 2 compartiments devraient converger vers la même valeur alors qu’ici ce n’est pas le cas.
La levée du paradoxe
Pour la thermodynamique, l’entropie a été redéfinie en 1877 par Boltzmann de la manière suivante :
La formule de Boltzmann sur sa tombe à Vienne
Ici, « S » représente l’entropie, « k » est une constante (de Boltzmann) et « W » correspond au nombre d’états macroscopiques que peut prendre le système.
Plus de 70 ans plus tard, en 1948, Claude Shannon définit à son tour un genre d’entropie qui correspond à la quantité d’information minimum pour transmettre un message. Cette entropie est définie par :
I= K log P
avec « I » la quantité d’information, « K » une constante et « P » l’ensemble des états possibles du système considéré.
Claude Shannon (Alfred Eisenstaedt/Time & Life Pictures/Getty Image)
A priori ces deux concepts n’ont de commun que leur expression mathématique mais Brillouin démontre qu’il s’agit bien de la même entropie. Je vous conseille de lire cette analyse Bibnum pour plus de détails où l’on peut lire ceci :
Pour obtenir de l’information sur un système, il faut le mesurer, cette mesure augmente l’entropie de l’univers d’une quantité exactement égale à la quantité d’information obtenue. De cette manière Brillouin établit une échelle absolue de la mesure de l’information et à cette fin créé une nouvelle grandeur : La néguentropie, ou entropie négative.
Il est évident que dans l’expérience de Maxwell, notre démon a besoin de connaître la vitesse des atomes pour les laisser passer ou pas par la porte. Brillouin montre alors que cette « mesure » faite par le démon va créer de la néguentropie de manière à compenser exactement la baisse d’entropie du système : le deuxième principe reste donc valide car l’entropie du système « enceintes+gaz+porte+démon » reste constante !!
Applications de l’entropie de Shannon
Le calcul de l’entropie de Shannon permet de coder un message sous forme numérique avec le moins de bits possible sans perdre de l’information comme dans les algorithmes de compression sans perte (voir ce billet sur la compression de données).
Elle est aussi utilisée dans le domaine de l’imagerie médicale pour comparer des images ainsi qu’en génétique pour identifier les parties des chromosomes contenant plus d’informations.
