Критерий Келли: формула оптимальных ставок

Критерий Келли — это математическая формула, которая помогает определить оптимальный размер ставок для максимизации долгосрочного роста капитала. Разработанная в 1956 году исследователем Bell Labs Джоном Ларри Келли-младшим, эта система применяется в инвестициях, управлении портфелем и азартных играх. Узнайте, как использовать критерий Келли для увеличения прибыли и снижения рисков.

В теории вероятностей критерий Келли (Kelly criterion) — это формула для определения размера последовательности ставок путём максимизации долгосрочного ожидаемого значения логарифма капитала, что эквивалентно максимизации долгосрочного ожидаемого геометрического темпа роста. Джон Ларри Келли-младший (John Larry Kelly Jr.), исследователь компании Bell Labs, описал этот критерий в 1956 году.

Практическое применение формулы было продемонстрировано в азартных играх, а аналогичная идея использовалась для объяснения диверсификации в управлении инвестициями. В 2000-х годах анализ в стиле Келли стал частью основного инвестиционного теория, и высказывались утверждения, что известные успешные инвесторы, включая Уоррена Баффета и Билла Гросса, используют методы Келли. Это также стандартная замена статистической мощности в любых статистических тестах и доверительных интервалах, основанных на e-значениях и e-процессах.

Полный Келли, дробный Келли и более чем Келли

Игроки часто определяют размер своих ставок относительно критерия Келли. Полная ставка Келли — это ставка, сделанная в соответствии с критерием Келли. Половинная ставка Келли составляет половину размера полной ставки Келли. Четвертьставка Келли составляет четверть размера полной ставки.

Игроки используют менее полный Келли для снижения риска разорения, уменьшения волатильности и учёта ошибок модели. Из-за значительных просадок игроки на практике находят дробные варианты Келли намного более приемлемыми эмоционально, чем полный Келли. Эта сниженная волатильность — это компромисс, так как она увеличивает время достижения целевого капитала или снижает темп роста капитала. Было установлено, что ставки, превышающие размер Келли, увеличивают риск разорения.

Критерий Келли для бинарных доходностей

В системе, где доход от инвестиции или ставки является бинарным — то есть участник либо выигрывает, либо теряет фиксированный процент своей ставки — коэффициент ожидаемого темпа роста даёт очень конкретное решение для оптимального процента ставок.

Формула для азартных игр

Когда проигрыш ставки означает потерю всей суммы ставки, ставка Келли составляет:

f* = p − q/b = p − (1−p)/b

где:

• f* — доля текущего банкролла для ставки
• p — вероятность выигрыша
• q = 1−p — вероятность проигрыша
• b — доля выигрыша от ставки. Например, если вы ставите $10 на коэффициент 2 к 1 (при выигрыше вы получаете $30, выигрывая $20), то b = $20/$10 = 2,0

Например, если игра имеет 60% вероятность выигрыша (p = 0,6, q = 0,4) и игрок получает коэффициент 1 к 1 (b = 1), то для максимизации долгосрочного темпа роста банкролла игрок должен ставить 20% банкролла при каждой возможности (f* = 0,6 − 0,4/1 = 0,2).

Если у игрока нет преимущества (то есть b = q/p), критерий рекомендует не ставить ничего.

Если преимущество отрицательное (b < q/p), формула даёт отрицательный результат, указывая, что игрок должен принять противоположную сторону ставки.

Формула для инвестиций

Более общая форма формулы Келли допускает частичные потери, что актуально для инвестиций:

f* = p/l − q/g

где:

• f* — доля активов для применения к ценной бумаге
• p — вероятность роста стоимости инвестиции
• q — вероятность падения стоимости инвестиции (q = 1−p)
• g — доля прибыли при положительном исходе. Если цена ценной бумаги растёт на 10%, то g = 0,1
• l — доля потерь при отрицательном исходе. Если цена падает на 10%, то l = 0,1

Следует отметить, что критерий Келли полностью действителен только при полностью известных вероятностях исходов, что почти никогда не происходит с инвестициями. Кроме того, консервативные стратегии инвестируют меньше полной доли Келли.

Общую форму можно переписать следующим образом:

f* = (p/l)(1 − (1−p)/p × l/g) = (p/l)(1 − 1/WLP × 1/WLR)

где:

• WLP = p/(1−p) — отношение вероятности выигрыша к проигрышу
• WLR = g/l — отношение выигрыша к проигрышу в исходах ставок

Ясно, что по крайней мере один из факторов WLP или WLR должен быть больше 1, чтобы иметь преимущество (f* > 0). Возможно даже, что отношение вероятности выигрыша к проигрышу неблагоприятно (WLP < 1), но у вас есть преимущество, пока WLP × WLR > 1.

Формула Келли может легко дать дробь больше 1, например при очень малых потерях l ≪ 1. Это происходит несколько контринтуитивно, потому что формула дроби Келли компенсирует малый размер потерь более крупной ставкой. Однако в большинстве реальных ситуаций существует высокая неопределённость всех параметров, входящих в формулу Келли. В случае дроби Келли больше 1 теоретически выгодно использовать кредитное плечо для покупки дополнительных ценных бумаг с маржой.

Пример ставки — поведенческий эксперимент

В исследовании каждому участнику дали $25 и попросили делать равные ставки на монету, которая выпадает орлом в 60% случаев. Участники играли 30 минут, поэтому могли сделать около 300 ставок, а призы были ограничены $250. Однако поведение испытуемых было далеко от оптимального:

Примечательно, что 28% участников разорились, а средний выигрыш составил всего $91. Только 21% участников достигли максимума. 18 из 61 участников поставили всё на один бросок, а две трети в какой-то момент ставили на решку.

Используя критерий Келли и основываясь на коэффициентах в эксперименте (игнорируя лимит $250 и конечную продолжительность теста), правильный подход заключался бы в ставке 20% банкролла на каждый бросок монеты, что составляет среднее увеличение на 2,034% за раунд. Это геометрическое среднее, а не арифметическая ставка 4%. Теоретический ожидаемый капитал после 300 раундов составил бы $10 505, если бы не было ограничения.

В этой конкретной игре из-за лимита стратегия ставки только 12% банка на каждый бросок дала бы даже лучшие результаты (95% вероятность достижения лимита и средний выигрыш $242,03).

Доказательство

Эвристические доказательства критерия Келли прямолинейны. Критерий Келли максимизирует ожидаемое значение логарифма капитала. Начнём с 1 единицы капитала и ставим долю f этого капитала на исход, который происходит с вероятностью p и предлагает коэффициент b. Вероятность выигрыша составляет p, и в этом случае результирующий капитал равен 1 + fb. Вероятность проигрыша составляет q = 1−p, и в этом случае результирующий капитал равен 1 − fa. Следовательно, геометрический темп роста r составляет:

r = (1 + fb)^p × (1 − fa)^q

Мы хотим найти максимум этой кривой (как функции f), что включает нахождение производной уравнения. Это легче сделать, сначала взяв логарифм каждой стороны; поскольку логарифм монотонен, он не меняет расположение экстремумов функции. Полученное уравнение:

E = log(r) = p log(1 + fb) + q log(1 − fa)

где E обозначает логарифмический рост капитала. Чтобы найти значение f, при котором темп роста максимален (обозначаемый как f*), мы дифференцируем приведённое выше выражение и приравниваем его к нулю. Это даёт:

dE/df|f=f* = pb/(1 + f*b) − qa/(1 − f*a) = 0

Переставляя это уравнение для решения относительно f*, получаем критерий Келли:

f* = p/a − q/b

Для полноты мы также должны рассмотреть поведение при приближении f к границам −1/b и 1/a, так как там может быть максимум без нулевой производной. Но E стремится к −∞ для обоих. Наконец, нам нужно показать, что найденная критическая точка не является минимумом; это легко показать, вычислив вторую производную, которая строго отрицательна для всех f в области определения.

Заметим, что это выражение сводится к простой формуле азартных игр, когда a = 1 = 100%, то есть когда проигрыш приводит к полной потере ставки.

Критерий Келли для непрерывных доходностей

Если доходности инвестиции или ставки непрерывны по своей природе, оптимальный коэффициент темпа роста должен учитывать все возможные события.

Применение к фондовому рынку

В математических финансах, если веса ценных бумаг максимизируют ожидаемый геометрический темп роста (что эквивалентно максимизации логарифма капитала), то портфель является оптимальным по росту.

Критерий Келли показывает, что для данной волатильной ценной бумаги это выполняется, когда:

f* = (μ − r)/σ²

где f* — доля доступного капитала, инвестированная для максимизации ожидаемого геометрического темпа роста, μ — ожидаемый коэффициент темпа роста, σ² — дисперсия коэффициента темпа роста, r — безрисковая ставка доходности. Заметим, что здесь предполагается симметричная функция плотности вероятности.

Расчёты портфелей, оптимальных по росту, могут страдать от серьёзных проблем «мусор на входе — мусор на выходе». Например, приведённые ниже случаи принимают как данность ожидаемую доходность и структуру ковариации активов, но эти параметры в лучшем случае являются оценками или моделями с значительной неопределённостью. Если веса портфеля в значительной степени являются функцией ошибок оценки, то апостериорная производительность портфеля, оптимального по росту, может существенно отличаться от априорного прогноза. Неопределённость параметров и ошибки оценки — это большая тема в теории портфеля. Один подход к противодействию неизвестному риску — инвестировать меньше, чем рекомендует критерий Келли.

Грубые оценки всё ещё полезны. Если мы возьмём избыточную доходность 4% и волатильность 16%, то годовые коэффициент Шарпа и коэффициент Келли рассчитываются как 25% и 150%. Дневные коэффициент Шарпа и коэффициент Келли составляют 1,7% и 150%. Коэффициент Шарпа подразумевает дневную вероятность выигрыша p = (50% + 1,7%/4), где мы предположили, что полоса вероятности составляет 4σ = 4%. Теперь мы можем применить дискретную формулу Келли для f* выше с p = 50,425%, a = b = 1%, и мы получаем ещё одну грубую оценку доли Келли f* = 85%. Обе эти оценки доли Келли выглядят довольно разумно, однако осторожный подход предполагает дальнейшее умножение коэффициента Келли на 50% (то есть половинный Келли).

Подробная статья Эдварда О. Торпа и соавтора оценивает долю Келли в 117% для американского фондового индекса S&P 500. Значительный риск нижнего хвоста для рынков акций — ещё одна причина снизить долю Келли от наивной оценки (например, снизить до половинного Келли).

Доказательство

Строгое и общее доказательство можно найти в оригинальной статье Келли или в некоторых других ссылках, приведённых ниже. Были опубликованы некоторые исправления.

Приведём следующий нестрогий аргумент для случая b = 1 (ставка 50:50 «равные деньги») для демонстрации общей идеи и предоставления некоторых понимания.

Когда b = 1, игрок по Келли ставит 2p − 1 раз свой начальный капитал W, как показано выше. Если они выигрывают, у них есть 2pW после одной ставки. Если они проигрывают, у них есть 2(1−p)W. Предположим, они делают N таких ставок и выигрывают K раз из этой серии N ставок. Результирующий капитал будет:

2^N × p^K × (1−p)^(N−K) × W

Порядок выигрышей и проигрышей не влияет на результирующий капитал. Предположим, другой игрок ставит другую сумму, (2p − 1 + Δ)W для некоторого значения Δ (где Δ может быть положительным или отрицательным). У них будет (2p + Δ)W после выигрыша и [2(1−p) − Δ]W после проигрыша. После той же серии выигрышей и проигрышей, что и игрок по Келли, у них будет:

(2p + Δ)^K × [2(1−p) − Δ]^(N−K) × W

Возьмём производную этого относительно Δ и получим:

K(2p + Δ)^(K−1) × [2(1−p) − Δ]^(N−K) × W − (N−K)(2p + Δ)^K × [2(1−p) − Δ]^(N−K−1) × W

Функция максимизируется, когда эта производная равна нулю, что происходит при:

K[2(1−p) − Δ] = (N−K)(2p + Δ)

что подразумевает:

Δ = 2(K/N − p)

но доля выигрышных ставок в конечном итоге сойдётся к:

lim(N→+∞) K/N = p

согласно слабому закону больших чисел.

Итак, в долгосрочной перспективе финальный капитал максимизируется путём установки Δ в ноль, что означает следование стратегии Келли.

Это иллюстрирует, что Келли имеет как детерминированный, так и стохастический компонент. Если известны K и N и требуется выбрать постоянную долю капитала для ставки каждый раз (в противном случае можно было бы обмануть и, например, не ставить после K выигрышей, зная, что остальные ставки проиграют), в конечном итоге будет больше денег, если ставить:

(2K/N − 1)W

каждый раз. Это верно независимо от того, мало или велико N. Часть «долгосрочной перспективы» Келли необходима, потому что K не известна заранее, только то, что по мере увеличения N, K будет приближаться к pN. Тот, кто ставит больше, чем Келли, может сделать лучше, если K > pN в течение некоторого периода; тот, кто ставит меньше, чем Келли, может сделать лучше, если K < pN в течение некоторого периода, но в долгосрочной перспективе Келли всегда побеждает.

Эвристическое доказательство для общего случая проводится следующим образом.

В одном испытании, если инвестировать долю f своего капитала, если стратегия успешна, капитал в конце испытания увеличивается на коэффициент 1 − f + f(1 + b) = 1 + fb, и, аналогично, если стратегия не удаётся, капитал уменьшается на коэффициент 1 − fa. Таким образом, в конце N испытаний (с pN успехами и qN неудачами), начальный капитал $1 даёт:

C_N = (1 + fb)^(pN) × (1 − fa)^(qN)

Максимизация log(C_N)/N и, следовательно, C_N относительно f приводит к желаемому результату:

f* = p/a − q/b

Эдвард О. Торп предоставил более подробное обсуждение этой формулы для общего случая. Там видно, что подстановка p вместо отношения количества «успехов» к количеству испытаний подразумевает, что количество испытаний должно быть очень большим, поскольку p определяется как предел этого отношения при стремлении количества испытаний к бесконечности. Вкратце, ставка f* каждый раз, вероятно, максимизирует темп роста капитала только в случае, когда количество испытаний очень велико, и p и b одинаковы для каждого испытания. На практике это означает играть в одну и ту же игру снова и снова, где вероятность выигрыша и коэффициенты выплаты всегда одинаковы. В эвристическом доказательстве выше, pN успехи и qN неудачи весьма вероятны только для очень больших N.

Множественные исходы

Критерий Келли может быть обобщён на ставки на множество взаимоисключающих исходов, например в скачках. Предположим, есть несколько взаимоисключающих исходов. Вероятность того, что k-я лошадь выиграет гонку, составляет p_k, общая сумма ставок, сделанных на k-ю лошадь, составляет B_k, и:

β_k = B_k / Σ_i B_i = D / (1 + Q_k)

где Q_k — коэффициенты выплаты. D = (1 − tt) / tt, где tt — доля трека или налог, D/β_k — коэффициент дохода после вычета доли трека, когда выигрывает k-я лошадь. Доля средств игрока для ставки на k-ю лошадь составляет f_k. Критерий Келли для азартных игр с множеством взаимоисключающих исходов даёт алгоритм поиска оптимального набора S^o исходов, на которые разумно ставить, и даёт явную формулу для поиска оптимальных долей f_k^o капитала игрока для ставки на исходы, включённые в оптимальный набор S^o.

Алгоритм оптимального набора исходов состоит из четырёх шагов:

• Рассчитать ожидаемый коэффициент дохода для всех возможных (или только для нескольких наиболее перспективных) исходов: er_i = Dp_i/β_i = p_i(Q_i + 1)
• Переупорядочить исходы так, чтобы новая последовательность er_k была неубывающей. Таким образом, er_1 будет лучшей ставкой.
• Установить S = ∅ (пустое множество), k = 1, R(S) = 1. Таким образом, лучшая ставка er_k = er_1 будет рассмотрена первой.
• Повторять:

Если er_k = Dp_k/β_k > R(S), то вставить k-й исход в набор: S = S ∪ {k}, пересчитать R(S) согласно формуле: R(S) = D Σ_(k∉S) p_k / (D − Σ_(k∈S) β_k) и затем установить k = k + 1. В противном случае установить S^o = S и остановить повторение.

Если оптимальный набор S^o пуст, то не ставить вообще. Если набор S^o оптимальных исходов не пуст, то оптимальную долю f_k^o для ставки на k-й исход можно рассчитать по этой формуле:

f_i = p_i − β_i × Σ_(k∉S) p_k / (D − Σ_(k∈S) β_k)

Можно доказать, что:

R(S^o) = 1 − Σ_(i∈S^o) f_i^o

где правая часть — это резервная ставка. Следовательно, требование er_k = Dp_k/β_k > R(S) можно интерпретировать следующим образом: k-й исход включается в набор S^o оптимальных исходов тогда и только тогда, когда его ожидаемый коэффициент дохода больше резервной ставки. Формула для оптимальной доли f_k^o может быть интерпретирована как превышение ожидаемого коэффициента дохода k-й лошади над резервной ставкой, разделённое на доход после вычета доли трека, когда выигрывает k-я лошадь, или как превышение вероятности выигрыша k-й лошади над резервной ставкой, разделённое на доход после вычета доли трека, когда выигрывает k-я лошадь. Двоичный показатель роста составляет:

G^o = Σ_(i∈S) p_i log_2(er_i) + (1 − Σ_(i∈S) p_i) log_2(R(S^o))

и время удвоения составляет:

T_d = 1 / G^o

Этот метод выбора оптимальных ставок может быть применён также, когда вероятности p_k известны только для нескольких наиболее перспективных исходов, а остальные исходы не имеют шанса выиграть. В этом случае должно быть, что Σ_i p_i < 1 и Σ_i β_i < 1.

Инвестиции в акции

Полином Тейлора второго порядка может быть использован как хорошее приближение основного критерия. В первую очередь это полезно для инвестиций в акции, где доля, выделенная на инвестицию, основана на простых характеристиках, которые легко оценить из существующих исторических данных — ожидаемом значении и дисперсии. Это приближение может дать результаты, аналогичные исходному критерию, но в некоторых случаях полученное решение может быть неосуществимым.

Для отдельных активов (акции, индексного фонда и т. д.) и безрисковой ставки легко получить оптимальную долю для инвестирования через геометрическое броуновское движение.

Стохастическое дифференциальное уравнение, управляющее эволюцией логнормально распределённого актива S в момент времени t (S_t), составляет:

dS_t / S_t = μ dt + σ dW_t

решение которого:

S_t = S_0 exp((μ − σ²/2)t + σ W_t)

где W_t — процесс Винера, μ (процентный дрейф) и σ (процентная волатильность) — константы. Принимая ожидание логарифма:

E log(S_t) = log(S_0) + (μ − σ²/2)t

Тогда ожидаемая логарифмическая доходность R_s составляет:

R_s = (μ − σ²/2)

Рассмотрим портфель, состоящий из актива S и облигации, приносящей безрисковую ставку r, с долей f, инвестированной в S, и (1−f) в облигацию. Упомянутое выше уравнение для dS_t должно быть изменено на эту долю, то есть dS_t’ / S_t’ = f dS_t / S_t, с соответствующим решением:

S_t’ = S_0′ exp((fμ − (fσ)²/2)t + fσ W_t)

ожидаемая однопериодная доходность определяется как:

E([S_1′ / S_0′ − 1] + (1−f)r) = E([exp((fμ − (fσ)²/2) + fσ W_1) − 1]) + (1−f)r

Для малых μ, σ и W_t решение можно разложить в первый порядок, чтобы получить приблизительное увеличение капитала:

G(f) = fμ − (fσ)²/2 + (1−f)r

Решая max(G(f)), получаем:

f* = (μ − r) / σ²

f* — это доля, которая максимизирует ожидаемую логарифмическую доходность, и, следовательно, является долей Келли.

Торп пришёл к тому же результату, но через другой вывод.

Помните, что μ отличается от логарифмической доходности актива R_s. Путаница в этом — распространённая ошибка, допускаемая веб-сайтами и статьями, говорящими о критерии Келли.

Для множественных активов рассмотрим рынок с n коррелированными акциями S_k со стохастическими доходностями r_k, k = 1, …, n, и безрисковой облигацией с доходностью r. Инвестор вкладывает долю u_k своего капитала в S_k, а остаток инвестируется в облигацию. Без ограничения общности предположим, что начальный капитал инвестора равен 1.

Согласно критерию Келли следует максимизировать:

E[ln((1 + r) + Σ_(k=1)^n u_k(r_k − r))]

Разложив это рядом Тейлора вокруг u_0 = (0, …, 0), получаем:

E[ln(1 + r) + Σ_(k=1)^n u_k(r_k − r)/(1 + r) − (1/2) Σ_(k=1)^n Σ_(j=1)^n u_k u_j (r_k − r)(r_j − r)/(1 + r)²]

Таким образом, мы сводим задачу оптимизации к квадратичному программированию, и неограниченное решение составляет:

u* = (1 + r)(Σ̂)^(−1)(r̂ − r)

где r̂ и Σ̂ — вектор средних и матрица вторых смешанных нецентральных моментов избыточных доходностей.

Существует также численный алгоритм для дробных стратегий Келли и для оптимального решения при отсутствии кредитного плеча и ограничениях на короткие продажи.

Бернулли

В статье 1738 года Даниэль Бернулли (Daniel Bernoulli) предположил, что при выборе между ставками или инвестициями следует выбирать ту, которая имеет наивысшее геометрическое среднее исходов. Это математически эквивалентно критерию Келли, хотя мотивация отличается (Бернулли хотел разрешить парадокс Санкт-Петербурга).

Английский перевод статьи Бернулли не был опубликован до 1954 года, но работа была хорошо известна среди математиков и экономистов.

Критика

Хотя обещание стратегии Келли делать лучше, чем любая другая стратегия в долгосрочной перспективе, кажется убедительным, некоторые экономисты решительно возражали против неё, главным образом потому, что конкретные инвестиционные ограничения человека могут перевешивать желание оптимального темпа роста. Обычной альтернативой является теория ожидаемой полезности, которая говорит, что ставки должны быть рассчитаны для максимизации ожидаемой полезности результата (для человека с логарифмической полезностью ставка Келли максимизирует ожидаемую полезность, поэтому конфликта нет; более того, оригинальная статья Келли ясно указывает на необходимость функции полезности в случае азартных игр, которые играются конечное число раз). Даже сторонники Келли обычно выступают за дробный Келли (ставка фиксированной доли от суммы, рекомендованной Келли) по различным практическим причинам, таким как желание снизить волатильность или защиту от недетерминированных ошибок в расчётах их преимущества. В разговорной речи критерий Келли требует точных значений вероятности, что не всегда возможно для реальных исходов событий. Когда игрок переоценивает истинную вероятность выигрыша, рассчитанное значение критерия будет отличаться от оптимального, увеличивая риск разорения.

На фондовом рынке ставку Келли можно рассматривать как временную диверсификацию, которая заключается в принятии равного риска в разные последовательные периоды времени (в отличие от принятия равного риска в разные активы для диверсификации активов). Существует разница между временной диверсификацией и диверсификацией активов, которая была поднята Полом Самуэльсоном (Paul A. Samuelson). Существует также разница между усреднением по ансамблю (расчёт полезности) и усреднением по времени (многопериодные ставки Келли по одной временной траектории в реальной жизни). Дебаты были возобновлены путём ссылки на нарушение эргодичности. Однако следует признать разницу между нарушением эргодичности и неопределённостью Найта (Knightian uncertainty).

Как применить критерий Келли на практике?