勾配アルゴリズムの幾何学

評価関数を最大にする変数を見つける問題についてはいくつかの解法があるが,
そのうちの1つが本研究で扱う勾配法である.その理論は,更新ごとにその地
点での評価関数の増加率が最大となる方向を見つけ,その方向へと更新を繰り
返せば,最大値または極大値を与える点へと収束するというものである.その
方向を定めるベクトルを,勾配ベクトルと呼んでいる.

ここで変数になんらかの拘束条件を付加した場合,一般にオイラー法のような
低次の近似アルゴリズムで更新を行うと,理論上では問題が無くても,数値計
算上ではすぐに拘束条件を満たさなくなる.これを解決する方法として従来で
は,幾度かの更新の後に拘束条件へ引き戻すという操作が行われてきた.しか
し,逐一の引き戻しは煩わしいだけでなく,効率も悪いことが問題であった.

本研究では,実際の数値計算において拘束条件から外れずに評価関数を最大化
させるために,測地線を用いて勾配法を改良した.尚,本研究では変数を正規
直交ベクトルを並べた長方行列の全体(Stiefel多様体)内に拘束することを
考えている.実際のデータを扱う場合にも,例えば無相関化のように各列(行)
を直交させるという制限は非常によく現れる.またこのようにStiefel多様体
内に変数をとることにより,ベクトルから直交行列まで変数を統一的に取扱う
ことができ,有意義である.

本研究の流れを説明する.まずStiefel多様体内の行列を変数とした評価関数
を最大化する測地線勾配法を考案し,さらにスケール変換や重み付けに役立つ
ように,より一般化した.その後,数値計算用に測地線勾配法を近似したアル
ゴリズムを求め,実際に主成分分析に応用し,この結果を勾配法の近似アルゴ
リズムであるオイラー法を適用したときの結果と比較した.どちらの方法でも
理論通りに評価関数の最大化が実現することが実証されたが,測地線勾配法は
拘束条件を満たし続け,オイラー法は拘束条件から外れた挙動をした.

測地線を利用して拘束条件を満たしつつ更新する事は,勾配法以外にも応用可
能だろう.