5. Линамические байесовские игры. Совершенное байесовское равновесие

В этом параграфе мы рассмотрим разновидность игр, которые являются таким же обобщением статических байесовских игр, каким являются динамические игры с полной информацией для статических игр с полной информацией, т.е.

В качестве примера динамической байесовской игры рассмотрим модификацию Игры 7 «Террорист» (стр. 23).

Игра 13. «Террорист»

Ситуация в данной игре такая же, как в Игре 7, однако террорист может быть двух типов: «нормальный» и «сумасшедший».

Природа

Рисунок 24.

Нормальный террорист так же, как и в Игре 7, получает выигрыш -100 в случае, если взорвет бомбу в Нью-Йорке. Сумасшедший же террорист получает в этом случае выигрыш 0. Вероятность того, что террорист окажется сумасшедшим, равна к. Пилот не знает, с террористом какого типа он имеет дело, но сам террорист знает свой тип. ^

1) Игра схематически показана на Рисунке 28. В игру был добавлен дополнительный фиктивный игрок, природа. Это сделано для того, чтобы показать на схеме случайный выбор типа террориста. Природа не имеет никакой целевой функции, поэтому на схеме показаны только выигрыши двух исходных игроков.

Первый ход делает природа. С вероятностью 71 природа создает сумасшедшего террориста и с вероятностью 1-71 — нормального. Пунктирной рамкой показано информационное множество пилота, соответствующее условию, что он не знает типа террориста.

Решение этой игры можно найти, применяя обратную индукцию. Сначала нужно рассмотреть поведение террористов обоих типов. Нормальный террорист, как мы видели раньше в Игре 7, не будет взрывать бомбу в Нью-Йорке. Сумасшедший же террорист, наоборот, предпочтет взорвать бомбу (так как 0 больше -1). В результате этих рассуждений (которые, как предполагается, должен проводить рациональный пилот) получим свернутую игру, которая показана на Рисунке 24.

Если пилот выберет Кубу, то в любом случае поучит -1.

7Г-(-100) + (1-7Г)-1 = 1-10171.

Пилот должен сравнить выигрыш -1 с выигрышем 1-10171 и выбрать максимальный. Таким образом, вид решения будет зависеть от параметра 71. Если вероятность встретить сумасшедшего террориста мала, т.е. 7Г< 2/101, то пилот полетит в Нью-Йорк, а если эта вероятность велика, т.е. к >2/101, то он предпочтет полететь на Кубу. При 71 = 2/101 пилоту все равно, куда лететь.

Заметим, что в рассмотренном примере не содержится специфических элементов, которые придают динамическим байесовским играм принципиально иной характер по сравнению с динамическими играми с совершенной и полной информацией или статическими байесовскими играми. Поэтому здесь для нахождения решения нам достаточно было воспользоваться обратной индукцией. Мы смогли проанализировать выбор пилота, по-

скольку знали, с какой вероятностью он мог в своем информационном множестве оказаться в левой вершине, а с какой — в правой.

Однако зачастую такие вероятности неизвестны. Мы сталкивались уже с этой проблемой, рассматривая динамические игры с полной, но несовершенной информацией. В подобных ситуациях, коль скоро игрок стоит перед выбором в некотором информационном множестве, состоящем более чем из одной вершины, то ему приходится делать некоторые предположения относительно того, с какой вероятностью он может оказаться в той или иной вершине. Если игрок имеет такого рода ожидания, то на их основе он выбирает ту альтернативу, которая может обеспечить ему наибольший ожидаемый выигрыш. Эти рассуждения приводят к понятию совершенного байесовского равновесия.

Совершенное байесовское равновесие состоит из следующих компонент:

+ набор стратегий (sb..., sm) всех игроков;

+ для каждого игрока г — набор ожидаемых им стратегий остальных игроков,

+ для каждого игрока в каждом информационном множестве, в котором ему принадлежит ход, — ожидаемое им распределение, заданное на вершинах этого информационного множества.

Для того, чтобы описанный набор стратегий и ожиданий составлял совершенное байесовское равновесие, необходимо выполнение следующих условий:

Ожидания любого игрока согласованы: ожидаемое распределение на вершинах информационных множеств для каждого игрока г соответствует выбранной игроком стратегии (s;) и тем стратегиям, которые, как он ожидает, выберут другие игроки

(Л)-

Выбранная стратегия последовательно оптимальна при данных ожиданиях, то есть выбор в каждом информационном множестве должен быть таким, чтобы максимизировать ожидаемый выигрыш в предположении, что после этого информационного множества игра будет идти в соответствии с набором стратегий (s„ s-t).

Ожидаемые стратегии совпадают с фактически выбранными стратегиями: = .ч ,.

Первое условие требует специального пояснения. Поясним сначала это условие для случая чистых стратегий. Рассмотрим некоторого игрока г и информационное множество, в котором этому игроку принадлежит ход. Какими должны быть его ожидания в данном информационном множестве? Предположим, что траектория, соответствующая набору стратегий (si; я^) и выходящая из начальной вершины, проходит через одну из вершин данного информационного множества. В таком случае, если игрок рационален, то он должен ожидать, что будет находиться именно в этой вершине, коль скоро игра достигнет данного информационного множества и ему придется делать в нем выбор.

В качестве примера рассмотрим статическую игру, изображенную на Рис. 25. Если второй игрок ожидает, что первый игрок выберет правую стратегию, то он должен ожидать также, что будет находиться в правой вершине своего инфор-

г, Рисунок 25

мационного множества. Следует отметить, что

если второй игрок будет исходить из сформированных таким способом ожиданий, то, выбирая свои действия оптимальным образом, он повторит ту функцию отклика, которую мы рассматривали при анализе равновесия Нэша.

В случае смешанных стратегий общего вида рассуждения должны быть похожими. Следует вычислить, с какой вероятностью будет достигаться каждая из вершин некоторого информационного множества в процессе игры, если игра будет происходить в соответствии с набором стратегий (si; з%). Тогда ожидаемая вероятность того, что игрок может находиться в некоторой вершине рассматриваемого информационного множества, равна вероятности достижения этой вершины деленной на сумму вероятностей достижения вершин рассматриваемого информационного множества. Указанная сумма вероятностей есть просто вероятность достижения рассматриваемого информационного множества, если игра будет происходить в соответствии с набором стратегий (s^ s-i). Понятно, что эта вероятность не должна быть равна нулю, чтобы можно было произвести деление. (Если же вероятность равна нулю, т.е. данное информационное множество не может быть достигнуто, то указанное правило не применимо.) Описанный способ вычисления вероятностей соответствует классическому правилу Байеса для условных вероятностей.

Напомним, что правило Байеса применимо к событиям А и В^ (j=l,...,m), таким что:

(1) Bj (j= 1,..., /?г) — несовместные события, т.е.

Bjft Вк = 0, Vj, к= 1, ...,777;

(2) тот факт, что произошло одно из событий Bj гарантирует, что произошло также событие А, т.е.

т

Ас и вг

3=1

При этом верна следующая формула Байеса:

В этой формуле P{Bj} — вероятность события Bp P{Bj \ А \ — вероятность события Bj при условии, что произошло событие А, Р{А\ — вероятность события А, Р{А \ В¦} — вероятность события А при условии, что произошло событие В¦.

В применении к рассматриваемой проблеме можно считать, что событие Bj означает, что процесс игры привел в определенную вершину, а событие — А, что процесс игры привел в данное информационное множество. Если брать только такие вершины, которые содержатся в рассматриваемом информационном множестве, то Р{А | Bj} = 1 и формула упрощается:

Р{Вз\А}=Щг'

где P{A}=j::=1P{Bk}.

Поясним сказанное на примере игры, изображенной на Рис. 26. Если 3-й игрок считает, что 1-й [О игрок выбирает левую сторону с вероятностью 0.4, и что 2-й игрок выбирает левую и правую сторону с равными вероятностями, то он Рисунок 26 должен считать, что вершина © будет достигаться в процессе игры с

вероятностью 0.4- 0.5 = 0.2, а вершина © — с вероятностью 0.6. Таким образом, он должен сопоставить вершине © вероятность

1-й

Рисунок 27

0.2/(0.2 + 0.6) = 0.25, а вершине © — вероятность 0.6/(0.2 + 0.6) = 0.75. Это только одно из требований. Даже если при наборе стратегий (si; яч) процесс игры никогда не может привести в некоторое информационное множество, ожидания игрока в данном ин- формационном множестве должны соответствовать (si; я^). Так в игре изображенной на Рис. 27 (а), при указанных ожиданиях относительно стратегий 1-го и 2-го игроков 3-й игрок должен ожидать, что может оказаться в левой вершине с вероятностью 0.1, а в правой вершине с вероятностью 0.9, хотя вероятность достижения информационного множества равна нулю. Ограничимся только этими пояснениями и не станем давать более точного определения. Заметим, что не всегда можно по данному набору стратегий сформировать ожидания. Например, в игре изображенной на Рис. 27 (б), при указанных ожиданиях о стратегии 1-го игрока 2-й игрок не может сформировать ожиданий в своем информационном множестве. Второй игрок может получить ход только в результате ошибки первого игрока и трудно судить, какая из ошибок более вероятна. В таких случаях мы будем только требовать, чтобы у игрока были некоторые ожидания, и он выбирал стратегию на основе этих ожиданий.

Отличительной особенностью совершенного байесовского равновесия является то, что для его поиска в общем случае невозможно использовать обратную индукцию, кроме случая игр с почти совершенной информацией. Если в игре нет подыгр, то совершенное байесовское равновесие приходится находить как решение системы уравнений: ожидаемые распределения на вершинах информационных множеств находятся в соответствии с равновесным набором стратегий, а равновесная стратегия выбирается каждым игроком на основе предположений об ожидаемых распределениях на вершинах информационных множеств.

(1) Природа

Рисунок 28. Игра «Террорист»

Для иллюстрации использования совершенного байесовского равновесия рассмотрим модификацию Игры 13 (стр. 42) с двумя типами террористов, в которой террорист предварительно решает, хочет ли он проводить операцию. Если он не станет осуществлять задуманную акцию, то вне зависимости от типа выигрыш террориста составит 0, и выигрыш пилота составит 0. Дерево игры показано на Рис. 29. Как и прежде, первый элемент вектора — выигрыш пилота. Поскольку выбор террориста в Нью-Йорке можно предсказать однозначно, то будем рассматривать «частично свернутую» игру. Совершенное байесовское равновесие должно состоять из следующих величин:

вероятность, с которой сумасшедший террорист проводит операцию, ^е [0, 1];

вероятность, с которой нормальный террорист проводит операцию, |ll2e [0, 1];

вероятность, с которой пилот ожидает встретить сумасшедшего террориста, ае [0, 1];

вероятность, с которой пилот летит в Нью-Йорк, Дзе [0, 1].

Этого достаточно для описания равновесия. Все остальные

вероятности очевидным образом рассчитываются как функции указанных.

Рассмотрим сначала поведение пилота при ожиданиях, заданных параметром а. Ожидаемые выигрыши пилота от двух возможных действий равны:

Куба: -1

Нью- а-(-ЮО) + (1-а)-1

Йорк:

Таким образом, если -1 < а-(-ЮО) + (1-а)-1, т.е. а< 2/101, то пилот предпочтет полететь в Нью-Йорк (д3=1), если а> 2/101, то на Кубу (|j,o=0), а в случае, когда а= 2/101, ему все равно, куда лететь любое). Т.е. зависимость стратегии от ожидания имеет вид:

Г 1, если а<2/101, Дз(а)=1 [0,1], еслиа=2/101, [ 0, если а>2/101.

Природа

Далее рассмотрим, какими должны быть ожидания пилота, а, в зависимости от вероятностей и Если Д^О или то

P{A\B1}=\L1, P{A\B2}=\I2.

Получаем по формуле Байеса, что

можно использовать формулу Байеса. В рассматриваемой игре можно считать, что события следующие: В1 — террорист сумасшедший, В2 — террорист нормальный, А — в процессе игры пилот получил ход и должен выбирать, куда ему лететь. (Проверьте, что эти события удовлетворяют требованиям, необходимым для использования правила Байеса). При этом, используя введенные обозначения, Р{В1}=к, Р{В2} = 1-я, Р{В1\А} = а, аС^, Ц2) = " .

nMi + (1 - Л) Иг

прид^О или |Л,2^0. Если 1^=0 и |J.2 = 0, то, согласно принятому нами определению байесовского равновесия, ожидания пилота а могут быть любыми: a(|i,. |j,2) = [0, 1].

Рассмотрим теперь выбор каждого из типов террориста. Если террорист сумасшедший, то его ожидаемый выигрыш от задуманной акции при стратегии пилота, заданной вероятностью равен

(1-Мз)-1 + м = 1-Мз-

Mi (Из

Он сравнивает этот выигрыш с 0. Таким образом, 1, если Цз < 1, [0,1], если|л,з = 1.

Если террорист нормальный, то его ожидаемый выигрыш от задуманной акции равен 1 - 2д3. Он тоже сравнивает этот выигрыш с 0, т.е.

Иг(Из

1, если|Л_з<1/2, [0,1], еслиjLi3 = 1/2, .0, если |Л_з> 1/2.

Набор вероятностей (д*, |j,2, д!, а*), задает совершенное байесовское равновесие, если выполнены четыре условия: Из е Из(а*Ь а*еа(|4,

И* G Hi(n!b Иг е Иг(Из)-

Для того, чтобы найти решения этой системы, следует разобрать несколько случаев. По-видимому, проще всего проанализировать по отдельности следующие три возможности:

нормальный террорист не проводит операцию (|J.2 = 0);

нормальный террорист проводит операцию (|i; I);

у нормального террориста невырожденная смешанная стратегия (|12е (0, 1)). (2) (1) Рассмотрим случай, когда д2 = 0. Предположим, что при этом Ф 0. Тогда пилот наверняка будет знать, что он может иметь дело только с сумасшедшим террористом (a= 1). Зная это, пилот выберет Кубу (|Х. 0). Но в таком случае нормальному террористу тоже выгодно проводить операцию. Мы пришли к противоречию. Значит, единственная возможность состоит в том, что сумасшедший террорист не проводит операцию = 0). Но такое может быть только если он знает, что пилот полетит в Нью-Йорк

(|lo= 1). Однако, такое поведение пилота возможно только в том случае, если вероятность того, что он имеет дело с сумасшедшим террористом мала (ос< 2/101).

Мы нашли в рассматриваемой игре одно из равновесий (точнее, множество равновесий определенного вида): |4 = 1, а е [0, 2/101],

|^ = 0, 1^ = 0.

Это равновесие поддерживается уверенностью пилота, что вероятность встречи с сумасшедшим террористом мала. Заметим, что эти ожидания ни на чем не основаны, ведь в рассматриваемом равновесии пилот не может сформировать свои ожидания на основе правила Байеса.

Рассмотрим теперь случай, когда |12 = 1- Такое поведение нормального террориста возможно только, если пилот с достаточно большой вероятностью полетит на Кубу, а именно, если

1/2. При такой стратегии пилота сумасшедшему террористу выгодно проводить операцию (^ = 1). Но если оба террориста проводят операцию, то для пилота вероятность встретить сумасшедшего террориста совпадает с вероятностью, с которой такие террористы встречаются вообще, т.е. а=л. Пилот может выбрать 1/2 только если а» 2/101. Таким образом, равновесие может достигаться только при я»2/101. При я>2/101, имеем |Л.з=0. Таким образом, если сумасшедшие террористы встречаются на свете достаточно часто, т.е. если я>2/101, то в рассматриваемой игре может иметь место следующее равновесие: |4 = 0, а* = я,

1^ = 1, 1-4 = 1-

В вырожденном случае, когда я= 2/101, получаем, следующее множество равновесий:

|4е [0, 1/2], а =л = 2/101.

И, наконец, рассмотрим случай, когда нормальный террорист использует невырожденную смешанную стратегию (|Х; е (0, 1)). Условием использования такой стратегии является то, что обе альтернативы дают ему одинаковую полезность, то есть то, что пилот летит в Нью-Йорк с вероятностью 1/2 (Цз =1/2). Такая стратегия пилота может поддерживаться только ожиданиями а= 2/101. Учитывая, что сумасшедшему террористу выгодно участвовать в акции (|ij = 1), из формулы Байеса получим следующее уравнение:

2 л

~101~л+(1-л)ц2'

Значит, пилот может сформировать такие ожидания только если

99л 2(1-л)'

Поскольку вероятность должна быть меньше единицы, то вероятность, с которой природа порождает сумасшедших террористов должна быть достаточно мала: л< 2/101.

Таким образом, при л< 2/101 следующая точка является равновесием:

*=1 2 2, а Ш1,

« 99л ~ 2 (1 - л)"

Поскольку проанализированы все три возможных случая, то мы нашли все возможные равновесия игры.

Задачи

Найдите совершенные байесовские равновесия в игре, изображенной на Рис. 19.

В этой главе мы приведем укажем на условия, гарантирующие Парето-оптимальность решений некоторых игр, рассматриваемых в книге.

Пусть задана игра с полной информацией в нормальной фор-

G = (I, {Л-(Ь, нь>. Напомним определение Парето-оптимальности.

Определение 13.

Исход у е X доминирует по Парето исход хе X (является Па- рето-улучшением по сравнению с ж) , если в нем каждый игрок получает выигрыш не меньше, чем в исходе х, а хотя бы один из игроков получает выигрыш строго больше, чем в х, т.е.

«.(//.) ".(•'•.! У ге I,

и

:./< "(//.) (/(г.).

Исход х е X называется Парето-оптимальным, если не существует другого исхода х е X, такого что он доминирует х по Парето.

Множество всех Парето-оптимальных точек называют границей Парето.

Рассмотренные выше решения (равновесия) не являются в общем случае Парето-оптимальными, что, в частности, показывает следующая игра.

Игра 14. «Игра Гуманна» Перед двумя участниками игры стоит следующий выбор. Каждый может потребовать, чтобы организатор игры дал сто долларов другому игроку, либо потребовать, чтобы он дал один доллар ему самому. Участники одновременно и независимо де-

лают выбор, после чего организатор игры исполняет их требования. ^

Игру можно представить с помощью следующей матрицы (см. Таблицу 21).

Таблица 21

Второй игрок $100 другому $1 ему $100 100 101 Первый другому 100 0 игрок $1 ему 101 0 1 1 В этой игре у каждого игрока существует строго доминирующая стратегия — потребовать 1 доллар себе. Соответствующий исход является и равновесием в доминирующих стратегиях, и равновесием Нэша. Примечательным является то, что этот исход является единственным не Парето-оптимальным исходом. Так, исход, в котором оба игрока требуют отдать сто долларов другому строго доминирует его по Парето.

Сотрудничество в повторяющихся играх

Ситуации, аналогичные той, которая описана в игре Ауманна, являются примерами фиаско координации. Одно из объяснений этого фиаско состоит в том, что в игре Ауманна игроки только один раз должны сделать выбор. В ситуациях, когда игра повторяется и игроки, играя в игру, «помнят» всю все принятые ими ранее решения (предысторию игры), между ними вполне может возникнуть сотрудничество.

Чтобы проанализировать эту догадку формально, введем понятие повторяющейся игры. Под повторяющейся игрой понимают такую динамическую игру, которая является последовательным повторением некоторой исходной игры (неважно, статической или динамической). Чтобы получить дерево дважды повторяющейся игры, следует к каждой конечной вершине исходной игры «прикрепить» дерево исходной игры. Рис. 30 показывает как это сделать на примере игры Ауманна.

Рисунок 30. Дважды повторяющаяся игра Ауманна

(Ж) (.8.) О?) 0) (188) (.8.) О?) (!)

Аналогично, чтобы получить дерево п раз повторяющейся игры, следует к каждой конечной вершине п-1 раз повторяю- щейся игры «прикрепить» дерево исходной игры. Конечно, для описания повторяющейся игры не обязательно задавать все дерево игры, достаточно указать исходную игру и сколько раз она повторяется. В отличие от обычных игр, в повторяющихся играх принято сопоставлять выигрыши не только конечным вершинам, но и тем промежуточным, которые соответствуют конечным вершинам исходной игры. Общий выигрыш рассчитывается суммированием выигрышей в вершинах, лежащих на траектории игры. Таким образом, если ubj — выигрыш, полученный г-м игроком в результате j-ro повторения игры (на j-ш «раунде»), то общий выигрыш в п раз повторяющейся игре составит

п

"¦ = >>. •

Г1

Часто в повторяющихся играх выигрыши дисконтируют, что отражает тот факт, что игроки больше предпочитают получить выигрыш сейчас, а не в будущем. Другими словами, пусть Ъц е (0, 1) — дисконтирующий множитель г-го игрока для j-ro раунда. Тогда общий выигрыш рассчитывается по формуле

3= 1

Будем считать в дальнейшем, что = т.е. дисконтирующий множитель не зависит от раунда.

Как нетрудно заметить, повторяющиеся игры являются разновидностью игр с почти совершенной информацией, поэтому совершенное в подыграх равновесие в них можно находить обратной индукцией.

Проанализируем повторяющуюся игру Ауманна. Используя обратную индукцию, рассмотрим последний раунд игры. Заметим, что все, что происходило в предыдущих раундах, влияет только на выигрыши, но не на множества стратегий. Однако влияние на выигрыши сводится только к тому, что ко всем выигрышам данного раунда добавляется одна и та же константа, определяемая предысторией игры. Таким образом, при анализе можно не принимать во внимание выигрыши предыдущих раундов. Тем самым, все сводится к анализу однократно повторенной игры Ауманна, равновесие которой нам известно: каждый игрок попросит 1 доллар себе.

Далее рассмотрим игры предпоследнего раунда, которые становятся играми последнего раунда в редуцированной игре. «Свертывание» последнего раунда добавляет к выигрышам предпоследнего раунда одну и ту же константу (в нашем случае это 1 для обоих игроков). Предыстория игры тоже влияет только тем, что добавляет константу к выигрышам. Таким образом, опять с точностью до константы получаем исходную игру. Продолжая редуцировать игру, мы на всех раундах получим одно и то же решение, совпадающее с равновесием исходной игры. Таким образом, равновесная траектория будет представлять собой п раз повторенное равновесие обычной игры Ауманна. Догадка о возникновении сотрудничества в повторяющейся игре в данном случае не подтверждается.

Можно сформулировать общую теорему для повторяющихся

игр.

j Теорема 7.

j Пусть в игре G с совершенной информацией (и конеч- j ным числом ходов) существует единственное совершен- j ное в подыграх равновесие. Тогда в повторенной п раз ! игре G, С",существует единственное совершенное в по- j дыграх равновесие, причем равновесные стратегии в иг-

j pe G" являются повторениями равновесных стратегий в j игре G.

Мы не будем приводить формальное доказательство. Доказательство очевидным образом конструируется по схеме, которую мы применили, анализируя повторяющуюся игру Ауманна.

То, что гипотеза о возникновении сотрудничества не подтверждается может быть связано с тем, что игроки знают, что игра закончится на п-ш ходу. И в самом деле, если бы игра Ауманна в повторялась бесконечное число раз, то сотрудничество между игроками могло бы иметь место.

Мы ранее не вводили в рассмотрение бесконечные игры, однако их основные элементы можно определить по аналогии с конечными играми. Выигрыш в бесконечно повторяющейся игре рассчитывается по формуле

г 1

В отличие от игры с конечным числом повторений, в бесконечно повторяющейся игре Ауманна возможно возникновение сотрудничества. Рассмотрим стратегии следующего вида:

Сотрудничать, если на предыдущих ходах другой игрок сотрудничал (в том числе, в первом раунде тоже сотрудничать).

Не сотрудничать, если хотя бы на одном из предыдущих раундов другой игрок взял 1 доллар себе.

Такую стратегию называют триггерной.

Если дисконтирующие множители 5Ь б2 достаточно высоки, то такие стратегии будут составлять совершенное в подыграх равновесие.

Рассмотрим, при каких условиях игроку выгодно придерживаться триггерной стратегии, если его партнер также ее придерживается.

Поскольку после того, как игрок взял 1 доллар себе, его партнер во всей дальнейшей игре будет поступать таким же образом, то отказавшемуся от сотрудничества игроку будет выгодно брать 1 доллар себе во всей дальнейшей игре. Таким образом, если отказ от сотрудничества произойдет в к-м раунде, то игрок не может получить больше, чем

>]U-X! ' I"" • (8)' -l"l • >](8! -I.

r 1 J=M

Если же не один из игроков не будет отклонятся от триггер- ной стратегии, то их выигрыши составят

г 1

Таким образом, чтобы отклоняться было не выгодно, должно быть выполнено неравенство

>>-Х! > >](8 ! + (§,)" 101 + ? (6.) -I

г 1 -И

ИЛИ

? (5,^-99 > (5,)м1 <=> <=> 99 5, >1 -5, <=> б^ущ.

Таким образом, если дисконтирующие множители малы, то будущие выигрыши имеют малое значение для игроков и им будет выгодно отклонится от триггерных стратегий. Если же дисконтирующие множители достаточно велики, то триггерные стратегии будут составлять равновесие, в котором будет иметь место сотрудничество.

Следует отметить, однако, что рассмотренное равновесие будет не единственным совершенным в подыграх равновесием в бесконечно повторяющейся игре Ауманна. На самом деле в бесконечно повторяющихся играх практически всегда равновесий бесконечно много. В частности, стратегии в которых независимо от предыстории игроки всегда берут 1 доллар себе тоже составляют равновесие. Существует теорема (в англоязычной литературе она известна под названием Folk Theorem, что на русский можно перевести как «Народная теорема»), утверждающая, что в бесконечно повторяющейся конечной статической игре с полной информацией любой «разумный» вектор выигрышей может возникнуть в некотором совершенном в подыграх равновесии, если дисконтирующие множители достаточно близки к единице. Под разумным вектором выигрышей мы понимаем такой вектор выигрышей, который является выпуклой комбинацией выигрышей исходной игры (с точностью до множителей 1-8;, необходимых для того, чтобы сделать выигрыши сопоставимыми), и кроме того, в нем каждый элемент должен быть не меньше некоторой пороговой величины. В разных вариантах теоремы пороговая величина раз-

ная: это либо выигрыш в каком-либо равновесии Нэша исходной игры, либо минимаксный выигрыш.

Эту теорему можно интерпретировать как утверждение о том, что в бесконечно повторяющейся игре «почти все возможно». Кроме того, из теоремы можно сделать вывод, что в бесконечно повторяющейся игре совершенных в подыграх равновесий бывает, как правило, «слишком много». Понятно, что это снижает ценность полученного выше результата о возникновении сотрудничества в игре Ауманна.

Игры торга

Теперь мы рассмотрим важный класс игр, моделирующих достижение соглашений между экономическими субъектами, — так называемые игры торга. В таких играх в условиях полной информации решения всегда Парето-оптимальны.

Игра 15. «JJlopz»

Два игрока (А и В) делят между собой некоторую сумму денег (или любое бесконечно делимое благо). Будем считать, что общее количество равно 1. Дележ можно задать долей, хе [0, 1], достающейся игроку А. Если игрок А получает х, то игрок В, соответственно, получает 1 - х. Торг происходит в несколько раундов. На каждом раунде один из игроков предлагает дележ хр где j — номер раунда. Другой игрок может либо отклонить, либо принять этот дележ. Если дележ принимается, то торг заканчивается и игроки получают свои доли (ж-, 1- х3). Если дележ отклоняется, то настает очередь другого игрока предложить свой дележ. Игрок А предлагает дележ в раундах с нечетными номерами, а игрок В — в раундах с четными номерами. Если за п раундов игроки не договорятся, то игра заканчивается и каждый игрок получает 0.

Предполагается, что игроки предпочитают получить деньги как можно раньше, поэтому полученная сумма денег умножается на дисконтирующии множитель, то есть если игроки договорятся на j—м раунде, то их выигрыши составят 8jA1xj и 5i 1 (1 - х3) соответственно, где 5Л, 5В е (0, 1) — дисконтирующие множители. ^ 1. Рассмотрим эту игру при п = 3. На Рис. 31 показано дерево

игры.

Проанализируем эту игру, используя обратную индукцию. В последнем раунде игрок В заведомо примет предложение игрока А, если 5в(1-ж3)>0, т.е. если х3< 1. Если х3= 1, то игроку В все равно, принять или отклонить предложение. Игроку А выгодно назвать х3 как можно большим. Значит, в равновесной стратегии не может быть х3 < 1, ведь игрок А тогда мог бы немного увеличить х3, не изменив выбора игрока В, и увеличил бы при этом свой выигрыш. Таким образом, в равновесии х3= 1. Рисунок 31 Чтобы при этом действительно

было равновесие, игрок В должен в своей стратегии быть «благожелательным» по отношению к А, то есть принять его предложение; в противном случае игрок А мог бы предложить х3 меньше 1 и увеличить при этом свой выигрыш.

Анализ 3-го раунда показывает, что игрок А должен будет предложить х3= 1, а игрок В должен будет принять этот дележ. Мы можем теперь «свернуть» игру, заменив 3-й раунд на конечный узел с выигрышами б! и 0.

Игрок В

1 -2,'j

Во 2-м раунде игрок А выбирает между Si (если отклоняет предложение) и 5А Х2 (если принимает). Таким образом, если х2 > 5А, то он примет предложенный дележ, а если х2 < 5л, то отклонит. При х2 = 5А игроку А все равно, какой выбор сделать. Игрок В предпочтет получить выигрыш 5в

(1 - х2), а не 0, поэтому он не станет предлагать х2< 5а- С другой стороны любой дележ х2 > 5А не является равновесным, поскольку игрок В в этом случае может уменьшить х2, не меняя выбора игрока А, и, тем самым, увеличить свой выигрыш. Таким образом, в равновесии х2 = 5л- Чтобы этот выбор был равновесным, требуется, чтобы в равновесии игрок А принял дележ х2 = 5А, несмотря на то, что отказ от этого дележа должен принести ему такой же выигрыш.

Остается торг, состоящий из одного раунда, в котором игроки получат 51 И 5В (1 - 5А), если не придут к соглашению. Рассуждения, аналогичные приведенным выше, показывают, что уже в первом раунде игроки придут к соглашению: игрок В примет дележ хл = 1 - 5в (1 - 5А), предложенный игроком А. Выигрыши при этом составят 1 - 5в(1 - 5А) И 8в(1 - 5А).

О торге в условиях полной информации можно сделать два замечания:

Торг заканчивается на первом раунде.

Равновесный исход Парето-оптимален.

Рис. 33 показывает графический способ нахождения равновесия в игре «Торг» при п= 3. На этом графике видно, как изменяется граница Парето от раунда к раунду, сжимаясь в сторону начала координат из-за дисконтирования. Процесс нахождения решения изображен толстой кривой, выходящей из начала координат.

52

Задачи

Постройте по своему имени и фамилии игру, как это описано в задаче 16 на стр. 21. Найдите в этой игре границу Парето. Есть ли среди равновесий Нэша Парето-оптимальные?

Объясните, почему в антагонистической игре (игре, в которой сумма выигрышей игроков — постоянная величина) любой исход является Парето-оптимальным.

Объясните, в чем состоит аналогия между аукционом, в котором игрок платит названную им цену, и игрой Ауманна (дилеммой заключенных). Представьте аукцион с двумя участниками как игру и сравните множество равновесий Нэша с границей Парето.

Рассчитайте общие выигрыши (в каждой из конечных вершин) в повторяющейся дважды игре Ауманна, изображенной на Рис. 30, считая, что дисконтирующие множители обоих игроков равны 1/2.

При каких значениях дисконтирующих множителей пара стратегий следующего вида будет совершенным в подыграх равновесием в повторяющейся игре Ауманна: «В первом раунде сотрудничать. В остальных раундах поступать так же, как другой игрок в предыдущем раунде»?

Найдите совершенное в подыграх равновесие в бесконечно продолжающемся торге. Решение может опираться на тот факт, что через каждые два раунда подыгра, начинающаяся с текущей вершины, повторяет исходную игру с точностью до дисконтирования. Таким образом, естественно искать стационарное равновесие. Найдите такое равновесие и покажите, что оно является совершенным в подыграх равновесием. Будет ли это равновесие оптимальным по Парето?