Mes deux domaines scientifiques préférés sont sans doute la thermodynamique et la théorie de l’information. L’histoire a su allier ces 2 grands domaines avec élégance pour comprendre le paradoxe du démon de Maxwell.
En 1871, James Clerk Maxwell (celui de la théorie électromagnétique) tente de contredire le second principe de la thermodynamique en inventant une expérience de pensée dans laquelle il invoque un « démon » mais ce n’est véritablement qu’en 1949 que Léon Brillouin, en utilisant la théorie de l’information, va permettre de lever le voile sur le paradoxe de cette expérience de pensée et redonner au second principe de la thermodynamique son caractère universel.
Le second principe de la thermodynamique
C’est un des principes de la physique les plus intéressants dans le sens où il cache de nombreuses implications. Il est au premier abord difficile à comprendre à cause de la notion d’entropie qui n’est pas facile à appréhender mais on l’entend souvent de la manière vulgarisée suivante :
« Le désordre d’un système isolé ne peut qu’augmenter dans le temps »
L’entropie d’un système est en quelque sorte son désordre. Si tous les atomes d’un gaz bougent lentement, il y a peu de chocs entre eux et l’entropie sera alors faible (et le gaz sera froid). Au contraire, si tous les atomes d’un gaz bougent rapidement, les chocs entre eux sont nombreux et l’entropie est grande (et le gaz sera chaud). On considère ici des systèmes isolés, c’est-à-dire qui n’échangent ni matière ni énergie avec l’extérieur (donc pas de chaleur non plus).
Le second principe stipule donc que toutes les transformations que peut subir un système isolé génèrent de l’entropie (du désordre) et que cette grandeur ne peut donc qu’augmenter dans le temps. Ceci veut dire que pour créer de l’ordre (faire baisser l’entropie), un agent extérieur doit forcément intervenir. Notre Univers voit donc son entropie totale augmenter vers l’infinie en permanence vue que rien n’est externe à l’Univers par définition.
Une des conséquences importantes de ce principe est que toutes les transformations que peut subir un système isolé ne peuvent se dérouler que dans un sens précis en suivant « la flèche du temps ». Les transformations sont ainsi qualifiées d’irréversibles dans le temps car génératrices d’entropie. Quelques exemples de transformations irréversibles évidentes dans la vie quotidienne :
- Lorsque l’on mélange du sirop dans un verre d’eau, jamais le sirop et l’eau ne vont complètement se re-séparer spontanément dans le verre.
- Lorsque l’on mélange de l’eau chaude et de l’eau froide dans un verre, jamais l’eau chaude et l’eau froide ne vont complètement se re-séparer spontanément dans le verre.
- Si un verre tombe par terre et se casse, jamais il ne se reconstituera par lui-même.
L’expérience de Maxwell
L’expérience pensée par Maxwell pour contredire le second principe de la thermodynamique est relativement simple à comprendre mais extrêmement difficile à mettre en œuvre, d’où la création de ce « démon ».
Imaginons 2 compartiments contigus dans lesquels on a mis d’un coté un gaz froid et de l’autre un gaz chaud. Il existe une porte entre ces 2 compartiments et un démon peut l’ouvrir et la fermer à sa guise. Le démon, malicieux, ouvre la porte de manière à ce que les atomes rapides passent dans le compartiment chaud et que les atomes lents passent dans le compartiment froid. Ainsi, plus le temps s’écoule et plus le gaz chaud se réchauffe et plus le gaz froid se refroidit.
Cette observation est en contradiction avec le second principe de la thermodynamique car les 2 compartiments voient leur entropie décroître : en effet, il y a plus d’ordre qu’au départ comme on a séparé les atomes rapides de ceux plus lents. La thermodynamique nous dit que dans le temps, les températures des 2 compartiments devraient converger vers la même valeur alors qu’ici ce n’est pas le cas.
La levée du paradoxe
Pour la thermodynamique, l’entropie a été redéfinie en 1877 par Boltzmann de la manière suivante :
La formule de Boltzmann sur sa tombe à Vienne
Ici, « S » représente l’entropie, « k » est une constante (de Boltzmann) et « W » correspond au nombre d’états macroscopiques que peut prendre le système.
Plus de 70 ans plus tard, en 1948, Claude Shannon définit à son tour un genre d’entropie qui correspond à la quantité d’information minimum pour transmettre un message. Cette entropie est définie par :
I= K log P
avec « I » la quantité d’information, « K » une constante et « P » l’ensemble des états possibles du système considéré.
Claude Shannon (Alfred Eisenstaedt/Time & Life Pictures/Getty Image)
A priori ces deux concepts n’ont de commun que leur expression mathématique mais Brillouin démontre qu’il s’agit bien de la même entropie. Je vous conseille de lire cette analyse Bibnum pour plus de détails où l’on peut lire ceci :
Pour obtenir de l’information sur un système, il faut le mesurer, cette mesure augmente l’entropie de l’univers d’une quantité exactement égale à la quantité d’information obtenue. De cette manière Brillouin établit une échelle absolue de la mesure de l’information et à cette fin créé une nouvelle grandeur : La néguentropie, ou entropie négative.
Il est évident que dans l’expérience de Maxwell, notre démon a besoin de connaître la vitesse des atomes pour les laisser passer ou pas par la porte. Brillouin montre alors que cette « mesure » faite par le démon va créer de la néguentropie de manière à compenser exactement la baisse d’entropie du système : le deuxième principe reste donc valide car l’entropie du système « enceintes+gaz+porte+démon » reste constante !!
Applications de l’entropie de Shannon
Le calcul de l’entropie de Shannon permet de coder un message sous forme numérique avec le moins de bits possible sans perdre de l’information comme dans les algorithmes de compression sans perte (voir ce billet sur la compression de données).
Elle est aussi utilisée dans le domaine de l’imagerie médicale pour comparer des images ainsi qu’en génétique pour identifier les parties des chromosomes contenant plus d’informations.
Je n’ai jamais été à l’aise avec la définition de l’entropie basée sur le mot
« désordre », beaucoup trop équivoque à mon goût. Faute de mieux pour le moment, je lui préfère la notion d’homogénéité ou d’uniformité.
Pour reprendre votre exemple, l’entropie n’augmente pas avec la vitesse des molécules, mais avec l’homogénéité dans la répartition de ces vitesses. On peut prendre l’exemple de deux volumes de gaz initialement à des températures différentes et dont les vitesses des molécules sont donc différentes « en moyenne ». En supposant que ces deux volumes sont isolés du milieu extérieur (pas d’échange de matière ou d’énergie), leur mélange va produire un volume gaz dont l’énergie est conservée mais dont la température se trouve comprise entre les deux températures initiales. L’augmentation de l’entropie traduit alors non pas une augmentation de la vitesse des particules, mais une uniformisation de celles-ci. Le volume final de gaz est plus « homogène » que les deux volumes initiaux, l’entropie de l’ensemble a donc augmenté.
Pour ce qui concerne le lien entre l’entropie de Boltzmann et celle de Shannon, je vous recommande chaudement la lecture des écrits d’Edwin Jaynes (http://en.wikipedia.org/wiki/Edwin_T._Jaynes) sur le sujet, ils ont radicalement changé ma vision de tous ces concepts.
intéressant, malgré le grand nombre de fautes d’orthographes -que j’ai renoncé à relever.
merci pour les sources,
bonne continuation,
CM
Il y a une manière simple de comprendre pourquoi l’entropie globale du système augmente quand le Démon de Maxwell mesure les vitesses des particules: pour obtenir cette information, il doit forcément interagir avec ces molécules, par exemple en les éclairant avec une micro-lampe par exemple et c’est cette interaction qui va créer de l’entropie (en dispersant des photons dans la boite dans l’exemple pris). J’avais raconté dans un vieux billet d’autres exemples amusants où l’on peut avoir l’impression que l’ordre augmente spontanément
Si on remplace la porte avec un ventilateur parfait le résultat est selon la thermodynamique classique une expansion isentropique sur une côte et une compression isentropique sur l’autre. Isentropique signifie sans changement d’entropie.
Le résultat est augmentation d’énergie, apporté par le ventilateur, mais l’entropie n’a pas changé.
Il est donc évidant que le démon doit apporter l’énergie. Selon mon point de vu il a besoin de stocker information qui dans sa forme matériel toujours est une différence de concentration dans un média.
On peut voir une différence de concentration comme une forme de énergie noble qui quand effacé est transféré à chaleur et donc augment l’entropie.
Dans toute transformation, il y a une entropie interne au système considéré qui se crée. Elle s’ajoute à l’entropie apportée par l’extérieur.
Je ne comprends pas cette expérience de pensée dans la mesure où elle fait intervenir « un démon », en d’autre terme une acteur supplémentaire. Cette acteur influe forcément sur le processus physique, je ne comprends pas sa pertinence et en quoi elle a pu poser problème aussi longtemps. Pourriez vous m’éclairer ?
merci à vous de me laisser les numeros du loto
Je croire que en fait que l’entropie selon vous n’est pas valable a l’echelle macroscopic pour moi le desordre est cause pas une resistance l’energie externe pas energie interne. imaginont que vous viser une pierre sur une mur que ce qu’il va se passer il y’a trois possibilite :
1.soit la pierre va se desordone parce que la pierre va recevoir une energie externe originent du mur que sont energie interne na pas eu aptitude de resister notont energie se transmettent d’une region plus concentrer a la region moin concentrer.
2.soit le mur se degrader parce que la pierre a eu sufficement d’energie externe que l’energie interne du mur ne pouvais resister et le mur c’est degrader en considerent la temperature absolute des corp.
3.soit le deux object restent en equilibre parce que l’object avec plus energie externe a transmit sont energy au corp qui a un energy interne plus important