境界はどこに引かれるか——役割分担を考え直す

どこまでを機械に任せ、どこからを人が担うのか。この境界を、私たちはつい「どちらが上手いか」で引こうとする。機械が速く正確なら機械に、そうでなければ人に。だが性能だけを基準にすると、境界はしばしば誤った場所に引かれる。能力の軸と、引き受けるべき責任の軸は、別物だからだ。

得意であることと、任せてよいことは違う

ある処理を機械が人より速く正確にこなせるとしても、それを丸ごと任せてよいとは限らない。判断の結果が後戻りできない場合、誤りの代償が大きい場合、あるいはなぜその結論に至ったかを人が説明できなければならない場合——これらの状況では、性能の高さは委譲の十分な理由にならない。

制御の研究者ダヴィッド・ウッズとエリック・ホルナゲルは、人と機械を別々の主体として優劣を競わせるのではなく、両者を一つの「協調する認知系」として捉えるべきだと提案した。この視点に立てば、問いは「どちらが優れているか」ではなく「この系全体として、責任ある判断を保つにはどう役割を分けるか」に変わる。境界は競争の線ではなく、責任の配分線になる。

説明できる範囲に、判断を残す

では、人が引き受けるべき判断とは何か。一つの目安は、結果を説明し、必要なら引き戻せる範囲かどうかだ。認知科学者ミカ・エンズリーが論じたように、人が状況認識を保てていなければ、いざというときの介入は機能しない。任せた結果が説明不能で、引き戻しも効かないなら、その境界の引き方は危うい。

もっとも、人なら必ず説明できるというわけでもない。意思決定研究者ゲイリー・クラインが描いた熟練者の判断は、しばしば言葉にしきれない直観を含む。人の側の判断もまた、完全には透明ではない。だからこの目安は、人を理想化するためのものではなく、説明責任を誰が、どの範囲で負うのかを意識的に決めるための足場として使うべきものだ。

線は、引き直され続ける

境界をめぐるもう一つの誤解は、それを一度引けば済む固定線だと思うことだ。実際には、機械の振る舞う範囲は変わり、扱う状況も移ろう。昨日は人が担っていた判断が、今日は任せられるようになり、逆もまた起きる。境界は、状況に応じて引き直され続ける動的なものとして扱うほうが現実に合う。

重要なのは、引き直しのたびに「いま責任を負っているのは誰か」が見失われないことだ。線が動くこと自体は問題ではない。線が動いたのに、誰もそれに気づいていない状態が危うい。境界の管理とは、線の位置を最適化することである以上に、線がいまどこにあるかを系全体で共有し続けることだと言える。監視に回った人に何が起きるかは自動化の皮肉の稿で、監督と操作の違いは別稿で扱う。