Réfutation basée sur l'entropie du paradoxe de la flèche en arrière bayésienne du temps de Shalizi?

Dans cet article , la talentueuse chercheuse Cosma Shalizi soutient que pour accepter pleinement une vision bayésienne subjective, il faut également accepter un résultat non physique selon lequel la flèche du temps (donnée par le flux d'entropie) devrait en fait reculer . Il s'agit principalement d'une tentative d'argumenter contre l'entropie maximale / vue bayésienne pleinement subjective avancée et popularisée par ET Jaynes .

Plus à LessWrong , de nombreux collaborateurs sont très intéressés par la théorie des probabilités bayésienne et aussi dans l'approche bayésienne subjective comme base pour les théories de décision formelle et un tremplin vers une forte AI Eliezer Yudkowsky est un contributeur commun en train de lire et j'étais récemment ce poste quand je est tombé sur ce commentaire (plusieurs autres bons commentaires viennent peu de temps après sur la page de l'article d'origine).

Quelqu'un peut-il commenter la validité de la réfutation de Shalizi par Yudkowsky? En bref, l'argument de Yudkowsky est que le mécanisme physique par lequel un agent de raisonnement met à jour ses croyances nécessite un travail et a donc un coût thermodynamique que Shalizi balaie sous le tapis. Dans un autre commentaire, Yudkowsky défend cela, en disant:

"Si vous prenez la perspective d'un observateur parfait logiquement omniscient en dehors du système, la notion d '" entropie "est à peu près dénuée de sens, tout comme la" probabilité "- vous n'avez jamais à utiliser la thermodynamique statistique pour modéliser quoi que ce soit, vous utilisez simplement la précision déterministe équation d'onde. "

Des probabilistes ou des mécaniciens statisticiens peuvent-ils commenter cela? Je ne me soucie pas beaucoup des arguments de l'autorité concernant le statut de Shalizi ou de Yudkowsky, mais j'aimerais vraiment voir un résumé de la façon dont les trois points de Yudkowsky critiquent l'article de Shalizi.

Pour se conformer aux directives de la FAQ et en faire une question à réponse concrète, veuillez noter que je demande une réponse spécifique et détaillée qui prend l'argument en trois étapes de Yudkowsky et indique où dans l'article de Shalizi ces trois étapes réfutent les hypothèses et / ou les dérivations, ou, d'autre part, indique où, dans l'article de Shalizi, les arguments de Yudkowsky sont abordés.

J'ai souvent entendu l'article de Shalizi présenté comme une preuve à toute épreuve que le bayésianisme subjectif à part entière ne peut pas être défendu ... mais après avoir lu l'article de Shalizi plusieurs fois, cela ressemble à un argument de jouet pour moi qui ne pourrait jamais s'appliquer à un observateur interagissant avec tout ce qui est observé (c'est-à-dire toute la physique réelle). Mais Shalizi est un grand chercheur, donc j'accueillerais favorablement les deuxièmes opinions parce qu'il est fort probable que je ne comprenne pas des morceaux importants de ce débat.

En bref: 1: 0 pour Yudkowsky.

Cosma Shalizi considère une distribution de probabilité soumise à certaines mesures. Il met à jour les probabilités en conséquence (ici ce n'est pas important si c'est l'inférence bayensienne ou autre).

Pas étonnant du tout, l'entropie de la distribution de probabilité diminue.

Cependant, il tire une conclusion erronée que cela dit quelque chose sur la flèche du temps:

Ces hypothèses inversent la flèche du temps, c'est-à-dire qu'elles rendent l'entropie non croissante.

Comme il a été souligné dans les commentaires, ce qui compte pour la thermodynamique, c'est l'entropie d'un système fermé . Autrement dit, selon la deuxième loi de la thermodynamique , l'entropie d'un système fermé ne peut pas diminuer. Il ne dit rien sur l'entropie d'un sous-système (ou d'un système ouvert); sinon vous ne pourriez pas utiliser votre réfrigérateur.

Et une fois que nous mesurons qch (c'est-à-dire interagissons et collectons des informations), ce n'est plus un système fermé. Soit nous ne pouvons pas utiliser la deuxième loi, soit - nous devons considérer un système fermé composé du système mesuré et de l'observateur (c'est-à-dire nous-mêmes).

En particulier, lorsque nous mesurons l'état exact d'une particule (alors qu'avant nous connaissions sa distribution), nous diminuons en effet son entropie. Cependant, pour stocker les informations dont nous avons besoin pour augmenter notre entropie au moins du même montant (il y a généralement d'énormes frais généraux).

Eliezer Yudkowsky fait donc un bon point:

1) Les mesures utilisent du travail (ou du moins l'effacement en préparation de la prochaine mesure utilise du travail).

En fait, la remarque sur le travail n'est pas la plus importante ici. Bien que la thermodynamique concerne la relation (ou l'échange) de l'entropie avec l'énergie, vous pouvez vous déplacer (c'est-à-dire que nous n'avons pas besoin de recourir au principe de Landauer , dont Shalizi est sceptique ). Pour rassembler de nouvelles informations, vous devez effacer les informations précédentes.

Pour être cohérent avec la mécanique classique (et quantique également), vous ne pouvez pas créer une fonction mappant arbitrairement quoi que ce soit à tous les zéros (sans effets secondaires). Vous pouvez créer une fonction mappant votre mémoire à zéro , mais en même temps, vider les informations quelque part, ce qui augmente efficacement l'entropie de l'environnement.

(Ce qui précède provient de la dynamique hamiltonienne - c'est-à-dire la préservation de l'espace de phase dans le cas classique, et l'unité de l'évolution dans le cas quantique.)

PS: Une astuce pour aujourd'hui - "réduire l'entropie":

• Lancez une pièce impartiale, mais ne regardez pas le résultat ( bit).$H = 1$
• Ouvre tes yeux. Maintenant que vous connaissez son état, son entropie est bits.$H = 0$

La faille de Shalizi est très basique et découle de l'hypothèse I, que l'évolution temporelle est inversible (réversible).

L'évolution temporelle des états INDIVIDUELS est réversible. L'évolution temporelle d'une distribution sur TOUT L'ESPACE DE PHASE n'est certainement pas réversible, sauf si le système est en équilibre. L'article traite de l'évolution dans le temps des distributions sur tout l'espace des phases, et non de celui des états individuels, et donc l'hypothèse d'invertibilité est totalement non physique. Dans le cas de l'équilibre, les résultats sont triviaux.

La flèche du temps vient de ce fait, en fait, que l'évolution temporelle des distributions n'est pas réversible (la raison pour laquelle les gradients diminuent et les gaz s'étalent). L'irréversibilité est connue pour émerger de «termes de collision»

Si vous en tenez compte, son argument s'effondre. Entropie de l'information = entropie thermodynamique, encore, pour l'instant. :RÉ

Le document lié suppose explicitement que

L'opérateur d'évolution T est inversible.

Mais si vous utilisez QM de manière conventionnelle, cette hypothèse ne tient pas. Supposons que vous ayez un état X1 qui peut évoluer en X2 ou X3 avec une probabilité égale. Vous diriez que l'état X1 évolue vers l'ensemble pondéré [1/2 X2 + 1/2 X3]. Shalizi prouve que cet ensemble n'a pas plus d'entropie que X1.

Mais nous, en tant qu'observateurs ou en tant que membres de ce système, ne pouvons regarder que l'une des branches, X2 ou X3. Choisir laquelle de ces deux branches nous regardons ajoute un peu de nouvelle entropie, et cette sélection n'est pas inversible. C'est de là que vient l'augmentation de l'entropie avec le temps. Ce que Shalizi a fait, c'est d'utiliser des mathématiques dans lesquelles toute l'entropie provient de la ramification quantique, puis oublier que la ramification quantique se produit.