暴走するアルゴリズム、ウィーナーの危惧

| コメント()
金融の世界ではマシン同士の取引が「暴走」した事例が知られています。今後、多くの分野でマシン間通信が導入されていきますが、同様のリスクをはらんでいると言えます。これは単にリスクの量的な問題であるだけでなく、統治の問題としても考えるべきではないかと思います。

Wired日本版に「暴走するアルゴリズム」というシリーズがありました。

アルゴリズムはあまりにわれわれの金融システムに浸透しているので、もはや市場はそれなしには機能しなくなってしまっている。(...)

だが最悪の場合、それは不可解でコントロール不能のフィードバックのループとなる。これらのアルゴリズムは、ひとつひとつは容易にコントロールできるものなのだが、ひとたび互いに作用し合うようになると、予測不能な振る舞いを─売買を誘導するためのシステムを破壊しかねないようなコンピューターの対話を引き起こしかねないのだ。(...)

今日ではこれらの唐突な下落は日常茶飯事であり、その原因を特定することはしばしば不可能だ。だが多くの観測筋は、責めを負うべきは強力で超高速のトレーディングアルゴリズムだと考えている。単純なプログラムが相互に作用し合い、人間の頭脳では理解できず予測不能な市場を作り上げてしまう、と。

好むと好まざるとにかかわらず、いまや支配権を握るのはコンピューターなのだ。

ウォール・ストリート、暴走するアルゴリズム(1/5) « WIRED.jp 世界最強の「テクノ」ジャーナリズム

「金融市場はフィードバックによって高度に自動化された適応的力学システムになってしまった」と言うのは、ウォール街のさまざまな会社のためにアルゴリズムを作成したペンシルベニア大学コンピューターサイエンス学科教授のマイケル・カーンズだ。「私の知る限り、その潜在的な関係性を理解できるような科学は存在しない」。

ウォール・ストリート、暴走するアルゴリズム(5/5) « WIRED.jp 世界最強の「テクノ」ジャーナリズム

この問題を一段階抽象化したレイヤーで考えると、マシン同士が「対話」することで物事を自動処理するネットワーク・システムが、全体としては予測不可能な複雑系として「暴走」するリスクについてどう考えるか、ということです。

スマート・グリッド、スマート・カー、インテリジェント・ホームといったユビキタス・コンピューティングは「マシン間通信」を大規模に導入する方向で進化していきます。ウォール・ストリートにおける「フラッシュクラッシュ(瞬間暴落)」のような「暴走」のリスクについて、あらかじめ考えておきたいところです。

端的に言えば「人間の排除」によって実現される効率化を是としつつも、それと不可分にシステムにもたらされるカオス的なふるまいをどう考えるか、ということになるでしょう。

「マシンに処理できない『複雑性の縮減』が人間なら可能であり、人間が介在することでシステムをより安定させることができる」という考え方はもちろん有力です。しかし、そうとも言い切れないのが悩ましいところです。マシンがなくてもバブルは起きます。マシンと人間のどちらがより「複雑」で「カオス」的に振る舞うか、と議論しても仕方ないようにも思えます。どちらも「複雑」で「カオス」的な振る舞いを見せるのです。

むしろ「いずれにせよコントロールできないカオス的な暴走は起こる」ことを前提にしたときに、「それを引き起こすのがマシンの場合と、人間の場合とで、どちらがいいか」「どちらなら引き受けられるか」といった考え方もあるのではないでしょうか。

私なら原因を追及できるシステムのほうを好ましく思います。最悪の「暴走」が起きたときに、よくわからない「ネットワーク・システム」の仕業であるよりも、特定可能な「人間」の仕業である方がまだ納得できます。民主主義的な統治のシステムのなかで処理できるという意味でも納得できます。

〔例えば「証人喚問」といったかたちで。それが単なる政治的パフォーマンスであったとしても。民主制はそういう「建前」の集まりによって成立している面があります。シニカルではなくプラグマティックな意味で、私は社会を成立させている「建前」にもそれなりの価値があると考えています〕

とはいえ、マシン間通信を推進していく限りは「複雑系」にならざるを得ないので、そうそう「特定可能性」を担保し続けることはできないでしょう。非常に難しい問題です...

最後に余談ですが、「暴走するアルゴリズム」を読んだときに、私は「まさにウィーナーの危惧が現実になっている...」と思いました。

ウィーナーが1940年代に興した「サイバネティックス」という学問は、簡単に言えば「自動制御」(automation)についての学問です。その当時の画期的なアイデアが「フィードバック」(feedback)でした。「暴走するアルゴリズム」のなかに「フィードバック」という言葉が何度も登場しますね。

個人的な話をさせて頂きますと、私は学生時代にメカトロニクス(電子工学で機械を自動制御する、まさにサイバネティックス直系の子孫)を学んでいました。ウィーナーはある意味で身近な学者でもあります。

ウィーナーは次のように書いています:

このようにして新しい科学、サイバネティックスに貢献したわれわれは、控えめにいっても道徳的にはあまり愉快でない立場にある。

この新しい領域の研究によって人類と社会の理解を深めることができるという善い成果が挙がり、その方が、危険よりもずっと大きいという希望をもつ人々もいる。私は1947年にこの本を書いているが、そういう希望は根拠薄弱であると言わねばならない。

サイバネティックス――動物と機械における制御と通信

今年(2011年)岩波文庫収録にあたり大澤真幸氏による解説も掲載されました。私にとってはいま読んでもずしりと重い本です。