Colloquium

カーネル法を用いた独立成分分析

荒川裕太

10月14日(金)13:30

独立成分分析(ICA)とは主成分分析や因子分析に並ぶ多変量データ解析の一種である。 ICAは相互に依存し合う多変量データを適当な線形変換によって統計的に独立なデータに変換する方法である。 ICAは変換後のデータの独立性の最大化問題として定式化されるが、独立性の尺度によって様々な方法が提案されている。
初期のICAは独立性を高次のモーメントで測るという方法であったが、高次モーメントは平均から外れたデータに鋭敏であるため、はずれ値 に対して弱い方法であった。 これを克服したのが Hyvarinen らの相互情報量をもとにした方法[1,2]である。 この方法は高次モーメントよりも緩やかな関数によって独立性を測るため、初期のICAに比べてはずれ値に対して頑健な方法である。 しかし、未知である独立成分の分布に対する仮定があるため、仮定にマッチしない分布に対しては弱い一面がある。
今回取り上げる Bach らによって提案されたカーネル法を用いたICA(カーネルICA)[3,4]ははずれ値に強く、独立成分の分布に対しての仮 定も無いため、Hyvarinen らの方法よりも強力な方法である。 カーネル法は回帰分析などの線形の手法を非線形化する際によく用いられる方法で、特徴空間に写したデータの内積を高速に計算する方法 である。 カーネルICAでは、独立性の尺度として非線形の正準相関を用い、カーネル法によって非線形の正準相関を効率よく計算するという枠組みに なっている。
発表ではICAの導入からはじめ、Hyvarinen らの方法を紹介した後、カーネルICAを最適化問題として定式化し、それを解くためのアルゴリズムについて話す予定である。

参考文献
[1] A. Hyvarinen, Fast and Robust Fixed-Point Algorithms for Independent Component Analysis, IEEE Trans. on Neural Networks, 10(3): 626-634 (1999).
[2] A. Hyvarinen, New Approximations of Differential Entropy for Independent Component Analysis and Projection Pursuit, Tech. Rep. A47 (1997).
[3] F. R. Bach and M. I. Jordan, Kernel Independent Compoennt Analysis, Journal of Machine Learning Research, 3: 1-48 (2002).
[4] D. R. Hardoon, S. Szedmak and J. S-Taylor, Canonical Correlation Analysis; An Overview with Application to Learning Methods, Tech. Rep. CSD-TR-03-02 (2003).