AI研究における「ブラックボックス問題」とは何か

人間が「過程を追えない」というリスク

さまざまな産業やサービスにおいて実用化が進むディープラーニングにおいて、ひとつの課題が浮上している。すなわち「ブラックボックス」の問題だ。ディープラーニングは、さまざまなビジネスプロセスを自動化してくれる人工知能(AI)技術だが、機械が自ら膨大なデータを学習し“自律的”に答えを導き出すという特性上、その「思考のプロセスが人間には分からない」という問題がある。この問題がすなわちブラックボックス問題と呼ばれている。日本の著名なAI研究者のひとりは、AI Lab編集部の取材に対し、次のように解説した。

「例えば人間が物事を思考する際、思考レベルは数次元が限界でしょう。一方で現行の人工知能は、数十~数百次元のレベルで物事を思考することができる。つまり、ディープラーニング技術を採用した機械が出した答えについて、どうしてその答えに至ったかという過程を、人間は追えないのです」

現在、検索サイトにおける画像判断サービスなど分野では「ブラックボックスが多少あってもそれほど問題にはならない」というのが、業界関係者たちの基本的な論調となっている。機械が対象を誤って判断したとして、その過程が分からなくとも、人々にとってクリティカルな状況を招く可能性が低いというのがその理由だ。とはいえ、過去には有名IT企業のAI画像認識サービスが黒人女性の顔画像をゴリラと判断し、人権上の観点から一時稼働停止に追い込まれた例もある。実用化が比較的容易とされているサービスにおいても、ブラックボックスの問題は、企業リスクに直結しうる課題となりつつあるのだ。

一方、故障や不良品の発生が致命的な損害に直結する製造業などの現場においては、すでに「ブラックボックス問題は避けては通れない課題となっている」と指摘するのは、日本のある学会関係者だ。

「日本の学会や製造業の現場でも、実はディープラーニングに否定的な人は少なくありません。理由はブラックボックスの問題があるから。製品の安全対策は万全でなければならず、しっかりと判断および予測の過程を追える人工知能のほうが有益であるとの意見があるのです」

人工知能に問題が起こった際、ユーザー(もしくは企業の存続において)に致命的な損害を与えうる業種では、ディープラーニングの実用化とブラックボックス問題の狭間で悩まされているエンジニア・経営者が海外では増えてきているという。例えば、自動車産業では、自動走行車が正しい道路を逸脱した場合、エンジニアはその理由を特定することが必須だろう。また顧客の信用リスクの審査にAIを使用している金融系企業は、評価に偏りが発生しないよう注意を払う義務がある。だが、ブラックボックスはそれらの課題を困難なものにする。おそらく今後、ディープラーニングの実用化にあたって、機械の予測や判断の中身を知り、説明できるようにしたいという企業の声は日ごとに高まることが予想される。

説明可能なAIを巡る世界各国の議論

このブラックボックス問題を解消した人工知能、つまり判断および予測過程を人間が把握できる人工知能は「説明可能なAI(Explainable AI)」もしくは「可読性のあるAI」と呼ばれている。前出の学会関係者は「ホワイトボックス化」という言葉で、その新しいAIの可能性を示唆する。

「ブラックボックスの問題があるとはいえ、ディープラーニングの革新性は決して否定することはできません。今後、人工知能の透明性をひきあげる研究が必須になるでしょう」

現在、この説明可能なAIの研究は米国防総省傘下の国防高等研究計画局(DARPA)などですでに始まっていると言われている。また、韓国・蔚山大学校も「説明可能な人工知能研究センター」を設立。所長のチェ・ジェシク教授ら研究チームを中心に、関連技術の研究を進めているという。なお、説明可能なAIの重要性を説く識者は、日本以外にも多い。例えば、今年に入って『Machine, Platform, Crowd: Harnessing Our Digital Future』という書籍を出版した、米マサチューセッツ工科大学(MIT)経営大学院のErik Brynjolfsson教授だ。彼は、人間と機械が協業する機会が増えている現在、ブラックボックス問題がその阻害要因になる可能性があると憂慮している。

説明可能なAIに懐疑的な主張も

ちなみに、このAIのブラックボックス問題については、「そもそも説明可能にする必要があるだろうか」という率直な疑問を投げかける専門家がいることも補足しておきたい。代表的なのは、Brynjolfsson教授と前掲書を共同執筆した、科学者のAndrew McAfee氏だ。同氏は2017年5月、MITスローン経営大学院のCIOシンポジウムにパネラーとして登壇。次のように話した。

<(ブラックボックスの問題を)多くの人々が心配している。しかし、私は人間を例えに出して、その懸念に反論したい。人間は自分が下した決定や予測を説明することができる。しかしその説明が間違っている場合が多い。(つまり)私たちは、私たち自身の知識にもアクセスできずにいる。そのような理由から、(私は)他の人よりもAIのブラックボックス問題に対する懸念が少ない>(韓国ウェブメディア「CIO Korea」2017年7月10付記事「AIのブラックボックスをどこまで信頼できるか」より意訳して引用)

これら有識者たちの議論を整理すると、究極的には機械が出した答えをそのまま「信じられるか否か」という論点に帰着するかもしれない。見方によっては、ブラックボックスに対する議論は、“AI信仰”に対する宗教論争的な性格さえ持つ。前述の日本の研究者の印象的な言葉を最後に紹介したい。

「機械が人間よりも優れた判断をする時代は、間違いなくやってくるでしょう。成果の実例を出していけば、すでに枚挙に暇がありません。ただ、その判断を人間が全面的に信じる時代がやってくるかと言われれば、その限りではない。人間が機械を妄信する時代が来るのか、もしくは機械の考えを理解し使いこなすのか。人間は今、そんな重要な判断を迫られる局面に生きているのではないでしょうか」

AIブームの到来とともにやってきたブラックボックス問題。それは、人間の知の限界や機械との共存の在り方を投げかている、根源的なテーマなのかもしれない。