とまと船

政治経済、ゲーム、ITなど、興味のあることを自分の視点から書いています。

AIの動作保証を考える

どうするんでしょうかねえ。ほんとに。

news.livedoor.com

f:id:tomatobune12341:20170805134654j:plain

 

真っ当な企業であれば、

どんなソフトウェアを世に出すにしても、動作保証をするはずなんですよね。

 

機能を仕様書にまとめ、仕様書のとおりに動作するのか、

想定外の異常なデータが入力された場合、システムに致命的な影響を与えないか、とか。

 

考えうる代表的なサンプルを使って、正常データが入力されたケース、異常データが入力されたケース、ギリギリ境界ラインのようなケースを色々ためして、

 

この使い方をしていただける前提で、ここからここまでの動作を保証します。

 

という太鼓判を押して世に出すはずなんですよ。

 

しかし、AI、これが「機械学習」していくものである場合、

 

動作保証の根拠となる「仕様」が、機械学習の進度に応じて変わっていく

 

ということになるんではないでしょうか。

 世に出した時点から、刻一刻と変わりゆく仕様について、どうやって保証していくんでしょうね。

 

世に出したAIが想定外のことをやらかして、お客さんに大損害を与えた場合、

AIをリリースした側が責任をもつのか、それとも、

「お客さんの環境で機械学習した結果」ということで、お客さん側の責任になるのか。

 

車で言うところの、「自動運転」が起こした事故の責任問題に近いことになるんでしょうかねえ。

 

懸念するのは、AIによるクラッキングです。

AIがネットの世界に潜り込み、自発的にサーバマシンをクラックしていく。

銀行の電子決済が使えなくなったり、通貨の量が偽装されて、物凄いインフレが「人為的」ならぬ「電為的」に起こされたり。

こういうことにならないように、何らかの対策が必要になる気がします。

というか、すでに対策があるんでしょうか?