論文「将棋の駒落ちの強化学習」が興味深い

2021/11/30コンピュータ将棋

将棋ソフト YSS や AobaZero の開発者である山下宏さんが興味深い論文を発表されています。 ディープラーニングを使用した将棋ソフト AobaZero を用いて駒落ちの学習を行い、そこから得られた知見が書かれています。

駒落ちの手合い差は妥当なのか?

沖縄の将棋大会のほとんどはクラス別に分かれていて、平手で戦いますが、一部の大会や親睦を兼ねたイベントでは駒落ちが使われることがあります。
その駒落ち大会に参加して感じるのは「駒落ちの手合い差って下手に厳しいのでは?」ということ。1級・1段差では先手番になるだけですし、二枚落ちの6〜7級差でもたいていの下手は勝てないでしょう。

論文の発表スライドには、将棋クエストのレート差と将棋ソフト同士の対局のレート差を比較した表が掲載されています。

将棋の駒落ちの強化学習(スライド資料) より引用

これによると平手の先後差はレートにして29点差しかなく、1級差(80点)よりも少なくなっています。やはり1級差が先手だけというのはハンデとして少ないようです。

また、二枚落ちのレート差はコンピュータ同士では610点あり、7〜8級差に相当します。意外に妥当な差なんですね、二枚落ち。ただし、これは下手が最善を尽くした場合で、多くの初級者は二枚落ちの勉強はしておらず結果的に大差がついているのでしょう。

将棋クエストの二枚落ちではレート差225〜299点しかなく、3級〜4級差です。駒落ち定跡を勉強することによって4級ほど棋力変わってくるわけです。

「駒落ちの手合い差が下手に厳しい」のではなくて、私が不勉強なだけなのですね……

駒落ち定跡は妥当なのか

ソフトに駒落ちを学習させたときのレート差の推移も興味深いです。

将棋の駒落ちの強化学習(スライド資料) より引用



最近の将棋ソフトは相居飛車が大好きで※1、香落ちの駒落ち学習でも当初は相居飛車を指していたのですが、途中で上手ソフトが振り飛車に気が付き、レート差100点まで追いついています。

人間が作り上げた定跡でも、香落ちは上手振り飛車が定跡です。これをソフトが再発見したのは感動的ですらあります。

※1 最近の将棋ソフトは序盤に飛車を振るだけで評価値が下がったりします(振り飛車党にとっては非常にけしからん話だと思います)。


駒落ちの研究も進んでほしい

本研究では香落ち振り飛車は発見できたが、二枚落ちの「二歩突き切り」と「銀多伝」は発見できなかったそうです。これは学習棋譜数(1200万)がまだまだ少ないのか、学習方法に改善の余地があるのか、はたまたもっと良い定跡があるのか、さまざまな可能性が考えられます。さらに研究が進んで面白い成果がでることを期待します。

研究の成果が知りたい、協力したい方は下記のURLを参照ください。

コンピュータ将棋

Posted by