Théorie des jeux

L'équilibre corrélé : quand un conseil change le jeu

À un carrefour, deux conducteurs arrivent en même temps. S'ils passent tous les deux, c'est l'accident ; s'ils s'arrêtent tous les deux, ils perdent leur temps. Le feu tricolore résout ce problème sans forcer personne : il donne à chacun une information, et chacun a intérêt à la suivre. En 1974, Robert Aumann tire de cet exemple une notion nouvelle, l'équilibre corrélé : un médiateur tire au sort un profil d'actions et souffle à chaque joueur, en privé, ce qu'il doit faire. Si personne n'a intérêt à désobéir, c'est un équilibre. Cette page part du feu, revient à la poule mouillée, fait agir un médiateur, calcule les meilleurs conseils par programmation linéaire, et finit par un jeu où un médiateur fait mieux, pour les deux joueurs, que tout équilibre de Nash.

Vocabulaire

Les mots du conseil

MotSens
ProfilUne case du tableau du jeu : l'action de chaque joueur.
MédiateurUn tiers qui tire un profil au hasard selon une loi connue de tous, et souffle à chaque joueur, en privé, sa seule action.
Contrainte d'obéissancePour chaque joueur et chaque conseil reçu : obéir doit rapporter, en moyenne, au moins autant que n'importe quelle autre action.
Équilibre corréléUne loi de tirage qui respecte toutes les contraintes d'obéissance (Aumann, 1974). Tout équilibre de Nash en est un cas particulier.
Signal publicUn tirage que tous voient, comme une pièce lancée devant tout le monde. Il permet seulement de choisir au hasard entre des équilibres de Nash.
Planche 1

Le feu tricolore

Chaque conducteur peut passer ou s'arrêter. Passer seul rapporte 1 (du temps gagné), s'arrêter 0, et si les deux passent, l'accident coûte c à chacun. Sans aide, il y a trois équilibres de Nash : l'un passe toujours et l'autre s'arrête toujours (deux équilibres injustes), ou chacun passe au hasard avec une probabilité 1/(1 + c), ce qui provoque des accidents et ne rapporte rien en moyenne. Le feu tire au sort qui a le vert : celui qui a le vert sait que l'autre a le rouge et passe ; celui qui a le rouge sait que l'autre passe et s'arrête. Personne n'a intérêt à désobéir, et chacun gagne 1/2 en moyenne, sans aucun accident.

Le carrefour : le conducteur bleu arrive de l'ouest, l'orange du sud. Chaque rencontre se joue selon la règle choisie ; un éclair rouge marque un accident.
Gain moyen par rencontre de chaque conducteur au fil des rencontres, et valeurs théoriques (pointillés) des trois règles : équilibre mixte (0), priorité fixe (1 et 0), feu (1/2 et 1/2).
Rencontres / accidents
—
Gain moyen : bleu / orange
—
Théorie : gains / probabilité d'accident
—
Contrôle : au rouge, passer rapporterait −c < 0
—
Un signal, pas une contrainte. Le feu ne bloque aucune voiture : il ne fait que coordonner des choix que chacun fait librement. Et il ne donne à chacun que sa propre couleur. C'est la différence avec la priorité fixe, qui est aussi un équilibre mais toujours au profit du même conducteur. Le feu tire au sort qui est avantagé : en moyenne, la situation est équitable, sans accident et sans attente inutile.
Planche 2

La poule mouillée : signal public ou conseils privés

Deux conducteurs foncent l'un vers l'autre : chacun peut foncer (F) ou céder (C). Si les deux foncent, accident (0 chacun) ; si l'un cède, il gagne 2 et l'autre 7 ; si les deux cèdent, 6 chacun. Les équilibres de Nash donnent (7, 2), (2, 7) ou, en mélangeant, 4,67 chacun. Un signal public, comme une pièce lancée devant les deux, ne peut que tirer au sort entre ces équilibres : ses gains restent dans le triangle violet. Aumann remarque qu'avec des conseils privés on peut faire mieux : si le médiateur tire (C, C), (C, F) et (F, C) avec un tiers de chances chacun, celui à qui l'on dit « céder » ne sait pas si l'autre cède ou fonce, et céder reste son meilleur choix. Chacun gagne alors 5.

Le plan des gains : en gris les gains possibles, en violet ceux d'un signal public (mélange d'équilibres de Nash), en bleu ceux des équilibres corrélés. Le point noir est la loi choisie, vert si c'est un équilibre corrélé.
En haut, la loi de tirage du médiateur (surface des carrés proportionnelle aux probabilités). En bas, pour chaque conseil reçu par le joueur 1, ce qu'il croit de l'autre et ce que lui rapportent obéir (vert) et désobéir (rouge).
Gains moyens (joueur 1, joueur 2)
—
Équilibre corrélé ?
—
Atteignable par un signal public ?
—
Contrôle : gain d'obéir moins gain de désobéir (4 conseils)
—
L'ignorance utile. Celui à qui l'on dit « céder » gagne à ne pas savoir ce que fait l'autre : s'il savait que l'autre cède aussi, il foncerait. C'est le secret qui rend le conseil crédible. Mais on ne peut pas aller trop loin : la loi « toujours (C, C) », qui donnerait 6 à chacun, n'est pas un équilibre, car chacun saurait que l'autre cède et foncerait. Le meilleur compromis symétrique tire (C, C) une fois sur deux et (C, F), (F, C) une fois sur quatre : 5,25 chacun.
Planche 3

Un médiateur qui conseille chaque joueur

Regardons le médiateur à l'œuvre dans la poule mouillée. À chaque partie, il tire un profil selon sa loi, glisse à chaque joueur une enveloppe qui ne contient que son action, et les joueurs jouent. Le joueur 2 obéit toujours. Le joueur 1 peut obéir, ou essayer de tricher : foncer quoi qu'on lui dise, foncer quand on lui dit de céder, ou céder quand on lui dit de foncer. Si la loi est un équilibre corrélé, aucune triche ne lui rapporte plus que l'obéissance.

Le médiateur tire une carte (le profil), puis envoie à chaque joueur une enveloppe avec son seul conseil. Les joueurs révèlent ensuite leur action ; les gains s'affichent.
Gain moyen du joueur 1 au fil des parties avec le comportement choisi (trait plein), comparé au gain moyen attendu en obéissant (pointillé vert) et au gain attendu avec ce comportement (pointillé rouge).
Parties jouées
—
Gain moyen du joueur 1 / attendu en obéissant
—
Gain moyen du joueur 2
—
Contrôle : la triche rapporte-t-elle (calcul exact) ?
—
Un conseil qui s'impose de lui-même. Le médiateur n'a aucun pouvoir : il ne punit pas, il ne surveille pas. Son autorité vient seulement de ce que suivre son conseil est, à chaque fois, la meilleure décision, compte tenu de ce que le conseil révèle. Avec la loi « toujours (C, C) », la triche « foncer quand on dit de céder » rapporte 7 au lieu de 6 : le médiateur perd tout crédit.
Planche 4

Les meilleurs conseils : un programme linéaire

Les contraintes d'obéissance sont des inégalités linéaires en les probabilités de la loi. L'ensemble des équilibres corrélés est donc un polyèdre, et chercher le meilleur conseil, par exemple celui qui maximise une moyenne pondérée des gains, est un programme linéaire, que l'algorithme du simplexe résout en quelques étapes. C'est un grand avantage sur les équilibres de Nash, beaucoup plus difficiles à calculer. En faisant tourner la direction à maximiser, on dessine toute la région des gains corrélés. Selon le jeu, elle peut être bien plus grande que l'enveloppe des équilibres de Nash, ou se réduire à elle.

Le plan des gains du jeu choisi : en bleu la région des équilibres corrélés, tracée direction par direction ; en violet l'enveloppe des équilibres de Nash (points rouges). La flèche indique la direction maximisée ; le point vert, l'optimum.
La loi optimale trouvée par le simplexe : probabilité de chaque profil, avec les gains de la case.
Loi optimale (profils de probabilité non nulle)
—
Gains (joueur 1, joueur 2)
—
Étapes du simplexe
—
Contrôle : plus grande violation des contraintes
—
Quand le conseil aide, et quand il n'aide pas. Dans la poule mouillée, la région corrélée déborde largement l'enveloppe des équilibres de Nash. Dans la bataille des sexes, elle se réduit à cette enveloppe : un signal public suffit. Dans le dilemme du prisonnier, il n'y a qu'un point, (1, 1) : quand trahir est toujours la meilleure réponse, aucun conseil ne peut faire coopérer, car aucun conseil n'est obéi.
Signature

Faire mieux que tous les équilibres de Nash

Dans la poule mouillée, le meilleur conseil donne 5,25 à chacun, mais l'équilibre de Nash (7, 2) reste meilleur pour le joueur 1. Peut-on faire mieux pour les deux joueurs que tous les équilibres de Nash ? Oui. Dans ce jeu à trois actions, proposé par Hervé Moulin et Jean-Philippe Vial en 1978, les deux joueurs veulent surtout ne pas jouer la même action (gain nul pour les deux). Le seul équilibre de Nash est de jouer chaque action au hasard, ce qui rapporte 1 à chacun. Un médiateur qui tire au hasard une des six cases hors de la diagonale donne 1,5 à chacun, et personne n'a intérêt à désobéir.

Le tableau du jeu (gain du joueur 1, gain du joueur 2) et la loi du médiateur : la surface bleue de chaque case est proportionnelle à sa probabilité. La case encadrée est le dernier tirage.
Le plan des gains : en gris les gains possibles, le point rouge est l'unique équilibre de Nash (1, 1), le triangle bleu la région des équilibres corrélés. Le point noir est la loi choisie ; le petit point orange, la moyenne des tirages simulés.
Gains de la loi (joueur 1, joueur 2)
—
Gain de chacun dans l'équilibre de Nash
—
Tirages simulés / gains moyens observés
—
Contrôle : équilibres de Nash trouvés / violation des contraintes
—
Plus d'information, mieux répartie. Dans ce jeu, l'équilibre de Nash gaspille un tiers des parties en coïncidences où personne ne gagne. Le médiateur les évite en coordonnant les joueurs sur des cases différentes, et chacun, ne connaissant que sa propre action, ne peut pas en profiter : quoi qu'on lui conseille, l'autre joue l'une des deux autres actions au hasard, et obéir est la meilleure réponse. Tous les équilibres corrélés de ce jeu donnent au moins 1 à chacun, et la région monte jusqu'à 3 de gain total (1,5 + 1,5). Le conseil privé crée de la valeur qu'aucun équilibre sans médiateur ne peut atteindre.
Synthèse

Ce qu'il faut retenir

Un conseil obéi librement

Un équilibre corrélé est une loi de conseils privés que chacun a intérêt à suivre, compte tenu de ce que son conseil lui apprend.

Plus large que Nash

Tout équilibre de Nash est un équilibre corrélé, et tout mélange public d'équilibres de Nash aussi ; les conseils privés vont parfois bien au-delà.

Facile à calculer

Les contraintes sont linéaires : le meilleur conseil se trouve par programmation linéaire, et l'apprentissage par regret y conduit.

Pour aller plus loin

Les conventions de la page. Les équilibres de Nash sont trouvés par énumération des supports ; la région des équilibres corrélés est tracée en résolvant le programme linéaire dans 72 directions, avec un simplexe utilisant la règle de Bland. Jeu de Moulin et Vial : gains du joueur 1 [[0, 1, 2], [2, 0, 1], [1, 2, 0]], du joueur 2 [[0, 2, 1], [1, 0, 2], [2, 1, 0]].

Références. R. Aumann, « Subjectivity and correlation in randomized strategies » (1974) et « Correlated equilibrium as an expression of Bayesian rationality » (1987) ; H. Moulin et J.-P. Vial, « Strategically zero-sum games » (1978) ; S. Hart et A. Mas-Colell (2000) ; C. Papadimitriou et T. Roughgarden, « Computing correlated equilibria in multi-player games » (2008).

Pages voisines. Apprendre à jouer (le regret mène à l'équilibre corrélé), les jeux répétés, la conception de mécanismes.