2021年12月21日

ポイント

●オンライン機械学習の停滞現象のメカニズムをランダム力学系理論で解明。
●入力データゆらぎが大きくなると，より強い学習の停滞が生じることを発見。
●様々な機械学習系における勾配消失や過学習の問題を分析する有力な方法として期待。

概要

北海道大学電子科学研究所の佐藤　讓准教授は，大阪大学大学院理学研究科の藤原彰夫教授，同博士後期課程筒井大二氏と共同で，オンライン機械学習の停滞に関する新たなメカニズムを，ランダム力学系理論に基づいて解析し，入力データゆらぎがこの停滞現象をむしろ強化するという新たな現象を発見しました。さらに，学習を効率化する最適な入力データゆらぎの存在を示しました。

機械学習がうまくいかなくなる原因として，勾配消失，と過学習の二つの問題が知られています。佐藤准教授らは，機械学習の基本要素の一つである三層パーセプトロンモデルのオンライン学習に焦点を当て，この問題を考察しました。結果として，対応する学習の動力学をランダム力学系でモデル化して安定性解析を行うことにより，オンライン学習に固有の雑音によって誘起される停滞現象を新規に発見しました。

本研究成果により提案された理論的枠組みと用いられた評価法は，深層学習を含む様々な機械学習系における勾配消失や過学習の問題を分析する有力な方法となることが期待されます。さらに，入力データの揺らぎの大きさを制御することによって，効率の良い学習系を構成できる可能性が示唆されました。

なお，本研究成果は，2021年11月22日（月）公開のPhysica誌「機械学習と力学系」特集号にオンライン掲載されました。

詳細はこちら

（左）多層パーセプトロン。パラメーターθで与えられるネットワーク構造を最適化する。
（右）勾配降下法。局所最適解に陥ると，より誤差の小さい大域最適解（真の解）に到達できない。