Пара мыслей про боты

Надоели честно говоря темы про боты, хочу немного рассказать, как я вижу для себя будущее ботов в покере, может внесу некоторую ясность.

Итак что такое боты и чем они отличаются от людей.

Фактически любого человека можно расценивать, как самообучающийся бот. Насколько я себе представляю - самообучающихся ботов сейчас считанные единицы и большинство из них представляют из себя болванки типа жесткого набора форматов действий плюс возможная рандомизация некоторых составляющих. Типа "блефуем с рэйсом на терне один раз из 5-и на неопасном флопе". Возможно ещё есть устаревшие просто фиксированные боты ненастраиваемые - их вообще брать в расчет не будем, т.к. они не опасны.

1. Рассмотрим более простых ботов-болванок.

Аксиома1: любая настройка бота может быть обыграна толковым быстро адаптирующимся игроком.

Чтобы бот качественно играл на определенном лимите он должен перенастраиваться скажем каждый месяц в зависимости от усредненных показателей игроков на данном лимите, чтобы принести максимальную прибыль. Если народу на лимите невообразимое множество и кучи однотипных игроков (заметьте я не употребляю слово - рыбы, т.к. например луз-пассив может делать луз-агрессива на дистанции, а луз-агрессив может делать тайт-пэссива и т.п.) - бот перенастраивать можно раз в 4-6 месяцев или после каких-нибудь событий вроде "хто-то там выиграл WSOP".

Аксиома2: любая фиксированная стратегия игры может быть бита каким-то определённым другим стилем. Что супер-лузовый, что тайт-агрессивный стиль могут быть биты, если они динамически не адаптируются к сопернику.

Тайтовая модель бьется на меньшее количество денег на сотню, т.к. тайтеры часто просто не доживают до дорогих улиц в холдеме и основная прибыль с них - это блайнды. Но зато игра идет шустрее.

Как бороться с такими ботами? Да никак. Просто у вас за столом будет "человек", которые будет на максимальные деньги обыгрывать "среднего" персонажа с данного лимита. Вы можете при этом спокойно обыгрывать его на какие-то небольшие деньги используя тонкости его стиля.

Чем грозит засилье таких ботов на лимите? Средние показатели лимитов будут изменяться и выигрывать будут лишь те боты, владельцы которых будут перенастраивать их чаще остальных. В хорошем плюсе будут самообучающиеся боты и люди-профессионалы (что читай одно и то же). Безмозглая рыба будет вылетать со скоростью пули с лимиты. Башковитая рыба шустро адаптируется. Игры станут менее прибыльными но будут вполне играбельны для профессионалов-людей. Безмозглые хозяева ботов шустро выйдут в минус, т.к. не смогут подбирать качественные настройки, умные хозяева будут иметь нормальную прибыль на уровне профессиональных игроков-людей.

Через некоторое время для профессионалов людей начнут продаваться боты, учитывающие ошибки сделанных ботов за более дорогие цены...

2. Самообучающиеся боты.

Фактически это те же самые люди, только с более неограниченными возможностями (в плане одновременности игры на многих столах) и более высокими скоростями принятия решений. Они также собирают статистику на каждого игрока с которым играют и принимают решение в зависимости от его профиля, который сформировался у них. Также они отслеживают динамику игры соперника, чтобы вовремя отслеживать моменты, когда к их игре адаптировались и сменять скорости. Алгоритмы создания таких ботов чрезвычайно сложны и стоят годовой работы лучших умов исследовательского института в течении полугода и больше. Цена сами понимаете будет тоже замечательна, а потому выбором профессионального игрока будут скорее боты первого уровня.

Как с ними бороться? Да никак. Вы все равно и вы и бот (если вы - профессионал) проиграете вместе казино. Если он играет и адаптируется чуть лучше (на то он и бот) - он проиграет чуть меньше.

К чему приведет засилье таких ботов?

К тому, что лимиты вымрут. Рыба будет раззоряться со скоростью звука. Профи будут терять прибыль, пока наконец не доберутся до нуля. Сами самообучающиеся боты также будут терять прибыль пока наконец самые лучшие из них не смогут отбить комиссию казино. После этого возможно выживут наиболее удачные боты, но и они в схватке друг с другом будут крутиться около нуля. Покеррумы станут закрывать или разработают новую концепцию защиты от ботов. Именно поэтому они уже сейчас прикладывают усилия к проблеме уборки ботов со своей территории.

В последнее время я начал каждый месяц корректировать свою базовую стратегию в холдеме, анализируя статистику игроков на лимите и их реакцию на мою игру, так что встретив меня на лимите вы можете вполне считать, что имеете дело с самообучающимся ботом.


Я надеюсь, что сделают все-таки специальные покеррумы для ботов в будущем и их соревнований и туда можно будет сунуться. Я бы с удовольствием поигрался бы с настройками ботов первого типа на реальные деньги или поразрабатывал алгоритмы адаптации для игры ботов второго типа.

Я надеюсь на это ещё и потому, что фактически игровая индустрия в интернете вымрет если изобретут и растиражируют слишком большое количество ботов. А этого не хочу не только я один. Этого также не хотят владельцы покеррумов и этого не хочет рыба. Этого хотят только те, кто считает, что надо подсуетиться и состричь денег иначе будет поздно. Я их не виню и возможно заработать пару миллионов долларов прям сейчас и убить покер куда лучше чем растянуть это удовольствие лет на 10 и заработать 5 миллионов честной игрой, но до тех пор пока я могу с ними конкурировать своей головой я буду это делать. А когда станет трудно - возможно буду в первых рядах тех, кто зарядит такой бот, что всех порвет

__________________
www.peter-rus.com

Вот видите! Тема назрела.Просто на этом форуме все молчат...и потихоньку стригут капусту..Я,как катализатор,я молчать не буду!!!Согласен с Петером во всех пунктах,кроме одного,если и начинать делать бота ,то нужно сейчас начинать.Я пока не пошел на низкие лимиты(опять спасибо Zedmor искреннее),даже не представлял глубины проблемы!Или русские должны быть первыми,или нас опять задавят...Хорошая игра в оффлайне проблема,я то ладно ,мне пофиг,а как быть тем ,кто только этим на жизнь зарабатывает.Предлагаю начать разрабатывать программу-стратегию антибот или нечто подобное...

__________________
Ставьте на красное,ставьте на черное,все равно выпадет зеро!(\"Блеф\")

Peter
Разработка глобального покерного бота, это конечно хорошо, но вот например то, что уже существует, софт играющий префлоп. Да, там тоже очень не маленький кусочек работы и масса данных для анализа, но префлоп автоматизировать на много порядков проще, чем любой другой этап игры.
Смысл - игра больше чем 6(восьми/десяти/нужное подчеркнуть) столов. Основная то нагрузка на игрока - решения по префлопу, которые хотя и относительно просты, давят своей массой. Второе - более качественная игра пререфлопа, если у тебя идет розыгрыш большого пота на одном столе или на двух, ты врядли обратишь внимание, что все три коллера имеют vpip >50% и не всегда будешь делать поправки на то, что pfr рейзера 4 или 13%.
Но - принципиально ничего сложного на префлопе нет. Следующий этап - создание автоматизированных систем играющих постфлоп, решения которых будут супервизироваться человеком - профессиональным игроком. Смысл - дальнейшее снижение нагрузки на игрока, с целью расширения набора столов на которых он играет. Кстати, такой симбиоз будет более эффективен по сравнению с профессиональным игроком не имеющим доступа с автоматизированным системам сбора статистики. Хотя последнего уже довольно таки сложно представить.

Посмотрите, что получится, если мы доверим принятие решений на фолд на постфлопе, если нам ничего не пришло и нет ни пар ни гатшотов/оверкард(и тд и тп) при условии, что есть коллер, и этот колер не находится в последней позиции? Прикинте, насколько еще снизится нагрузка на оператора/игрока.

Кстати, в шахматах есть такая тенденция. Если хорошая программа вполне сравнима с уровнем игры человека и наоборот, то человек использующий средства компьютерного анализа легко побьет их обоих. Каспаров помнится подозревал, что дипблю получал поддержку от человека(и именно поэтому дб так быстро и тихо уничтожили после проведения матча). Хотя шахматы и покер очень сильно отличаются, сбрасывать со счетов эти тенденции не стоит.

Итар-Тасс
Вы как всегда не подражаемы!

__________________
I\'d Rather Have a Bоttle in Frоntоmy, Than a Frоntal Lоbоtоmy

спс.Тем и живу...
P.S:если это была ирония...тем более...
Карты,деньги,два стола...

__________________
Ставьте на красное,ставьте на черное,все равно выпадет зеро!(\"Блеф\")

Да, любопытная темочка. Однако существует огромная разница между шахматами и картами. А именно шахматы - игра с полностью доступной информацией, а карты и в частности покер - игра вероятностная, с весьма ограниченным объемом известной информации.
Я не вижу способа построить алгоритм, который бы справлялся с сильными игроками. С рыбой и новичками - да, но не с опытными прюсовыми игроками.
Ну, допустим самый лучший покерист мира А объединился с самым сильным программистом мира Б, и они решили создать бот. Допустим, А способен переложить в алгоритм любую концепцию Б. Ну, возьмем первый попавшийся пример. Бот сделал рэйз на АК и имеет 2-х коллеров сзади и одного на блайнде. Флоп Т93 и блайнд бэтает. Ситуация простейшая и Б готов запрограммировать то, что будет в этой ситуации делать А. Позвольте, а что будет делать А ?
Вот я на минутку побуду А и попытаюсь объяснить Б, как я играю эту позицию. Итак:
А: Черт, а ведь я ее играю каждый раз по-разному - иногда режу, иногда отвечаю, а бывает и бросаю.
Б: Так не пойдет, ты мне расскажи в зависимости от чего.
А: Ну, тут до хрена всего - и то, что я знаю о тех троих в поте, и моя интуиция, внутренний голос если угодно, и то как мне масть идет, и чувствую ли кураж. Понимаешь, тут угадать надо.
Б: Так что, сгенерируем случайное число от 1 до 3 и возьмем что выпадет ?
А: Да нет, это глупость, конечно. Я ведь и лучший в мире потому, что угадываю чаще других.
Б: Ну, хорошо, но бот то угадывать не умеет. Я вот посчитал только что, у меня получается по оддсам бросать надо. Запрограммируем бросать, что ли ?
А: Да ни в коем случае. Так ты все пробросаешь. Ты давай что-нибудь другое придумай.

Все, на этом я выдохся - ничего не могу придумать. А кто-нибудь может? Так что сдается мне, боты пока отдыхают.

__________________
- С трех, сынок. - Бура, папаша.

Мне кажется, некоторых подгоняет еще и возможность того, что кто-то другой cможет за ближайшие пару лет заработать пару миллионов, убить покер и заодно все твое растянутое удовольствие.

Все... как-то усложнено, но с выводами согласен. У ботов есть еще одна особенность - он тиражируется, т.е. может без лишнего напряга играть куда больше столов, чем самый заядлый мультитейблер. И ситуация "несколько рыб за столом" плавно превращается в ситуацию "один стол - одна рыба", а потом и "одна рыба на двадцать столов".
(Собственно, с многостаночниками-людьми та же проблема, но у этих хоть с увеличением количества столов win rate несколько падает).
И здесь мы, по-моему, можем видеть, что интересы покеррумов и интересы игроков ( рыбы, в частности) несколько расходятся - ведь и размножение ботов, и многостаночники, определенно несут руму значительную прибыль в краткосрочной перспективе.

И мне кажется, что ботов и людей необходимо разделить.

Скажем, есть грязный стол, где допускается существование ботов. Поддерживаются все эти hand history и пр. Но все показатели из картинки Zedmora заведомо отображаются сразу же в покерном софте абсолютно для всех, всякие GTW без надобности. Кто может их использовать - пусть играет в эту игру... это уже не совсем покер.

И есть стол чистый. Здесь уже не ведется никаких протоколов, никаких трекеров, не говоря уже о полуавтоматах - разве что можешь писать заметки про соперников.

Очень даже замечательные идеи, покер в интернете действительно сильно отличается от покера оффлайн. Но с другой стороны слабый игрок врядли сядет за стол со всеми этоми цифрами о которых он понятия не имеет, плюс к тому зная что на этих столах засилье ботов и профи. Соответственно они потянутся к чистым столам, ну а проф игроки и боты будут разрабатывать новые схемы ведения статистики на чистых столах

Если б все было так просто.Веб -камера наведенная на "чистый"стол, второй компьютер.И стол уже стал грязным.Глубже надо копать.
P.S.Или TV-OUT что еще проще...

__________________
Ставьте на красное,ставьте на черное,все равно выпадет зеро!(\"Блеф\")

"Чистый" стол возможен разве что в "чистом" месте, типа того же казино.
(будут стоять чистые компы в рад - как однорукие бандиты )
Если игрок сам будет свое место оборудовать, то даже TV-OUT не поможет

__________________
NotesNL - больше не актуально

Итак фантазии Веснухина.....
Гостиница Космос 2007 год.Большой зал...в ряд стоит несколько десятков компьютеров.Между рядами компьютеров чинно прохаживается представитель Всемирной Лиги Fair Play.
отбирая у игроков калькуляторы палмы,мобильники ит.д.Атмосфера крутого экзамена...
За одним из столов сидит Peter c сигарой и чашкой кофе.За его спиной за деньги наблюдают
десятки начинающих,этим он частично отбивает рейк.Он давно просит выделить ему отдельную комнату,но поскольку зарплата представителя из США 200 долларов в час ему было отказано.
Постоянно появляются черные румы ,но они долго не живут,убиваемые финансовым мониторингом...

Будет настроение продолжу...

__________________
Ставьте на красное,ставьте на черное,все равно выпадет зеро!(\"Блеф\")

Hello!
Не согласен, что есть большая разница между картами и шахматами, я как-то уже писал об этом. В шахматах, начиная с некоторого уровня (чуть выше знаня как ходят фигуры) весьма важно знать уровень того с кем играешь. Одинаковые по силе игроки в принципе должны играть вничью. Фактически, игра в шахматы идёт кто кого поймает в ловушку. Знание особенностей противника очень помогает. Один мой знакомый люби слона на диагональ поставить, чтобы при случае ладью у меня прихватить. Так он этой идеей увлечён, что практически ничего кроме ладьи на доске не видит. Иногда ему даже удаётся выиграть ладью, но от этого ему только хуже. Отец мой имеет несколько "фишек" - например любит слона или коня за две пешки отдать. Вроде невыгодно. Правда к концу игры, когда пешки уже готовы превратится в ферзь, он каждую на фигуру меняет. Я вот знаю такую его особенность и фактически эти пешки он мне просто дарит.

В покере знания об особенностях игры ещё важнее, и программа лучше чем человек сможет определить их. Анализ больших объёмов данных конпьютеры делают лучше, чем человек. А методов анализа сейчас много - карты Кохонена, нейронные сети и пр. которые сейчас применяются для анализа разных пустяков типа прогнозирования климата, финансового анализа... Думаю, что применив эти технологии в покере можно создать бота играющего на уровне лучших профессионалов. Кстати, в детстве я писал игрушку на бейсике - называлась "100" (это типа чет-нечет, только более продвинутый - загадывать надо число от 1 до 9) использавал одну табличку (в современной терминологии нейронная сеть из одного нейрона). Сыграв 4-5 игр с человеком она уже прктически не проигрывала. Только если кто-то другой садился играть, то её надо было переучиватся но уже на 10 играх примерно. Пришлось сделать сохранение профиля игрока. Самое удивительное что мне тогда показалось - это способность программы "узнавать" игрока. На протяжении 2 игр программа собирала информацию и потом выбирала подходящий профиль. Всего было около 10 профилей - родные, знакомые, но ошиблась в выборе она только раз. Все Очень удивлялись, когда после 2 игр программа обращалась к игроку по имени и причём правильно.

Есть у меня идея, нет, не бота, а что-то типа Poker Tracker. Назвать наверно нужно такую программку Poker Profiler. Также как трекер собирает статистику, и во время игры используя профили показывает вероятные карты противников (с указанием вероятности) а также вероятные действия на ваш бет/рейз. Ну, а уж кнопки сами жмите.
Вот это как будет, против правил покеррума или нет?

__________________
Thanks.

Думка,новую прогу писать не надо.Напиши просто надстройку к покертрекер.
А законность ровно таже что у холдем инспектор,пока не прижмут к реке то можно.

__________________
Ставьте на красное,ставьте на черное,все равно выпадет зеро!(\"Блеф\")

Думаю, что это никак не будет. В профессиональный и полупрофессиональный покер играют серьезные и неглупые люди, а не наивные кадеты. И примитивные штампы к ним просто не применимы. Начиная с определенных ставок в арсенал тех, кто бьет игру, входит то, что по-английски называется tricky, а именно игра, далекая от стереотипов. Так что для тети Сони ,которая, когда играет в деберц, всегда забывает объявить Бэлу, и по этой милой привычке ее всегда можно узнать, твои идеи может и применимы, а для плюсового покериста - ну ни в коей мере.

__________________
- С трех, сынок. - Бура, папаша.

Hello!Я и не говорил, что это будет просто. Понятно, что плюсовой игрок тем и отличается что играет не так как рыба . Поятно также что он варьирует свою игру в зависимости например от стола. Или просто чтобы сбить с толку. Однако и тут есть ограничения - не может он в убыток себе с толку сбивать. Играть невыгодные руки профессионал будет играть только если это стратегически выгодно - определённый процент времени и в определённых ситуациях. Игра профессионала только кажется непредсказуемой. Могу точно предсказать, что он к конце концов будет в плюсе От этого танцуем.
Непредсказуем обычно только полный маньяк. И то можно сказать что в конце концов он проиграет. 8O

__________________
Thanks.

Адаптация к столу на префлопе это использование данных на окружающих противников и нашей позиции по отношению к ним. Потом, на постфлопе, профессионал адаптируется уже к конкретным противникам в этой раздаче и играет все свои руки в зависимости от данных на своих противников. Если противник фолдер - жди необеспеченного рэйза с определенной частотой и т.д. Стратегия с негибким противником в конкретный момент может динамически неограниченно далеко уходить от "средней", если это выгодно против этого противника, потом возвращаться обратно к средней, если противник адаптируется к крайностям, потом снова обратно и т.д. Моделирование игры профессионала возможно только с включением моделей его текущих противников и их нынешних реакций на твою игру. Но по-моему Петер про это и написал в стартовом посте этой ветки.

__________________
На трудном пути к легким деньгам...

Абсолютно согласен.

__________________
www.peter-rus.com

Hello!

На каждого профессионала есть больший профессионал.. Т.е. тот кто лучше "чувствует" противника. Задача бота - как можно лучше моделировать противников. Возможно хороший бот и не сможет переиграть хорошего професионала, но уж распознать-то точно сможет. Решение бота в этом случае может быть сменить стол. (Впрочем это было бы лучшим решением и для человека - зачем двум профессионалом за одним столом рыбачить?)

__________________
Thanks.

Hello!Это мне кажется естественным. Мало того даже для "рыбы" свойственно менять стиль игры - например впадать в тилт.

__________________
Thanks.

В любом случае очень интересная идея. С удовольствием бы поглядел на ее развитие. Если, конечно, бота не получится.

Если бы кто-нибудь подсказал по каким признакам опазнать бота? И как с ним бороться?Правда бороться с ним наверное особого смысла нету. Но наверное можно продолжать игру, если за столом куча рыбы, скорректировав свою игру.