「無人の兵団」を読む。
結構な大著で、読み切れなかったんだけど楽しかった。近年の世界の軍事シーンでは自動化したミサイルや兵器の開発が進んでおり、どんどんと人間の操作や指示を離れていく傾向があるらしい。作者はアメリカの軍事アナリストで、実際に軍で武器を扱い作戦に従事していたこともある人物。冒頭に、武器を持った民間人の少女の扱いを殺すべきか？倫理に基づいて見逃すべきか？という難しい判断を迫られた場面が出てくる。自分で状況を判断し自分で標的を定めて自分で攻撃する、という自律型兵器であればためらうことなく少女を殺していたであろうが、その行動の是非についてを考えるのが本書のテーマ。章ごとにさらに細かなテーマを論じていくが、兵器の歴史から自立型兵器の現在の状況、自立型兵器の制御やオペレーションの難しさ、兵器同士の交戦がどうなるかなど、各分野の有識者との対談や緻密な調査を基に論じられていて非常に興味深く読める。
自律型兵器の比喩として何度も登場するのがターミネーターで、「ターミネーター難問」という言葉もあるらしい。実際は監視や兵站などの支援役割以外でターミネーターみたいな武装ロボットの開発はあまり積極的に行われていないそうだが、人型じゃなくてもミサイルや戦闘機、ドローンのような兵器はガンガン開発されているらしくその状況にまずは戦慄する。小さなドローンの群れを２チームに分けてそれぞれ戦わせ、どのような意思決定の方式(集権調整・階層的調整・合意調整など)だと勝率を挙げることができるかといったことが何度もプログラムを修正して研究されているらしい。
制御やオペレーションの難しさという点だと、身近な例としてルンバという自律型家電だって人間の思い通りに動いてくれず、特定の場所に引っ掛かって動けなくなったり元の場所に帰れなくなる例を挙げる。これはあらゆるシステムを通じて言えることで、ソフトウェアの世界にもバグをどう処理するかということは常に考えるので自分の仕事的にもためになる話だった。監督的自立運用という人間が処理ループ上にいたり、ループの上で監視するという形であれば、システムの挙動がおかしくなれば人間が気づいて別のインプットをすることが出来るが、自律度が高まり人間の監視下から離れると、人間の意図しない動きを初めても制御できなくなってしまうという怖さがある。ミッキーの「魔法使いの弟子」という例が紹介されるのだが、一度暴走したAIは例え自分や身内を傷つけるとしても命令者ですら止めることが出来ないと。ブートストラップのような外部の入力を必要としないシステムは、状況に応じて自己のプログラムを書き換える可能性すらあるという。
また、人間でなく兵器がターゲットを自分で探す兵器のリスクとして、ターゲットがいなかった場合に無駄になってしまうという現実もあるらしい。一発100万ドルする自動探索型のミサイルを「標的がいそうな位置」に闇雲に打つことは出来ないと語る指揮官の話はすごく説得力があった。対象がレーダーを発信する乗り物や機械であればまだしも、人間のように標的かそうでないかの特定が難しい標的の場合は味方を攻撃してしまうリスクも高まるという。
さらに、スプーフィング攻撃によって、人間が識別できないニセ情報をネットワーク越しに兵器に食わせてニューラルネットワークを惑わして攻撃者の意図と違うことをさせるような技術も防御策として考案されているとか。
