あります 人工知能についてシリコンバレーで起こっている大きな議論 残念ながら、リスクはかなり高くなります。誤って超スマートなA.Iを構築するのでしょうか。それは私たちをオンにし、私たち全員を殺すか奴隷にしますか？
ブランディ・パッサンテは何歳ですか
これは夏の災害映画のシナリオのように聞こえるかもしれませんが、イーロン・マスクから後半まで、かなり大きな名前が心配されています スティーブンホーキング 。
「自己改善型A.Iを作成するとしましょう。いちごを選ぶために」 マスクは言った 、彼の恐れを説明します。だから、それはすべての世界がイチゴ畑になるでしょう。ストロベリー・フィールズ・フォーエバー。'このストロベリーパカリプスの邪魔をする人間は、A.I。
しかし、確かに人間は誤ってA.I.を設計するほど愚かではないでしょう。文明のすべてを1つの巨大なベリー農場に変えるように駆り立てられましたか？おそらくそうではありませんが、 ジャネル・シェイン 、機械学習アルゴリズムの一種であるニューラルネットワークをトレーニングする研究者。 彼女のブログ、A.I。奇妙さ 、それは完全に彼らが誤ってそれを行う可能性があります。
実際、人間が1つのタスクのためにロボットを構築していると思ったのは初めてではなく、ロボットが意図しない方法でシステムをゲームしていることに気づきました。魅力的な投稿は、学術文献を掘り下げて、ロボットが暴走したいくつかの例を共有しています。彼らは面白くて賢く、そして一緒になって、少し不気味なだけではありません。
1.転倒できるときに誰が足を必要としますか？
「シミュレートされたロボットは、できるだけ速く移動するように進化するはずでした。しかし、脚を進化させるのではなく、単にそれ自体を高い塔に組み立ててから倒れました。これらのロボットの中には、落下運動を宙返りに変えて距離を伸ばすことさえ学んだものもあります」とシェーンは書いています。
2.できることができるロボット。
「シミュレートされたロボットの別のセットは、ジャンプできる形に進化するはずでした。しかし、プログラマーは当初、ジャンプの高さを最も高いブロックの高さとして定義していたため、ロボットは非常に高くなるように進化しました」とシェーンは説明します。 「プログラマーは、ジャンプの高さを元々「最低」だったブロックの高さとして定義することで、これを解決しようとしました。それに応じて、ロボットは、ある種のロボットのカンカンで空中に高く蹴ることができる長い細い脚を開発しました。
3.テストを非表示にすると、失敗することはありません。
'数字のリストをソートすることになっているアルゴリズムがありました。代わりに、リストを削除することを学習したため、技術的にソートされなくなりました」とシェーン氏は言います。
4.数学のエラーはジェット燃料を打ち負かします。
あるシミュレーションでは、ロボットは、力を計算する数学の小さな丸め誤差が、運動によってわずかな余分なエネルギーを得ることを意味することを学びました。彼らは急速にけいれんすることを学び、利用できる多くの自由エネルギーを生成しました」とシェーンは言います。ねえ、それはごまかしです！
5.無敵の（破壊的な場合）三目並べ戦略。
かつて、プログラマーのグループが、無限に大きなボード上で互いにリモートで三目並べを再生できるアルゴリズムを構築しました」とシェーン氏は述べています。 「あるプログラマーは、アルゴリズムの戦略を設計するのではなく、独自のアプローチを進化させました。驚いたことに、アルゴリズムは突然すべてのゲームに勝ち始めました。アルゴリズムの戦略は、その動きを非常に遠くに配置することであることが判明しました。そのため、対戦相手のコンピューターが新しい大幅に拡張されたボードをシミュレートしようとすると、巨大なゲームボードによってメモリが不足してクラッシュし、ゲーム。'
6.有用なゲームの不具合が悪用されることはありません。
「コンピューターゲームをプレイするアルゴリズムは、人間がスピードランのために悪用することを通常学ぶ種類のマトリックスグリッチを発見するのに本当に優れています。古いAtariゲームQ * bertをプレイするアルゴリズムは、あるレベルの終わりに非常に特定の一連の移動を実行でき、次のレベルに移動する代わりに、すべてのプラットフォームが急速に点滅し始め、プレーヤーは膨大な数のポイントを蓄積し始めるでしょう」とシェーンは言います。
7.申し訳ありませんが、パイロット。
この例は、クリーピースケールで非常に高いです： '空母に着陸する飛行機に最小の力を適用する方法を理解することになっているアルゴリズムがありました。代わりに、「巨大な」力を適用すると、プログラムのメモリがオーバーフローし、代わりに非常に「小さな」力として登録されることを発見しました。パイロットは死ぬだろうが、ねえ、完璧なスコア。
それで、私たちは皆運命にありますか？
これらすべてをまとめると、人間は、ロボットが設定した問題をどのように解決するか、あるいは問題をどのように定義するかを推測するのがかなりお粗末であることを示唆しています。つまり、シェーンが誤って殺人A.Iを構築することを心配しているということです。ムスクのように大君主？実際にはそうではありませんが、人間のプログラマーが自分たちが作成しているロボットを本当にうまく処理していると彼女が確信しているからではありません。代わりに、彼女は私たちを救うためにロボットの怠惰に頼っています。
「プログラマーとして、私たちのアルゴリズムが、ショートカットを利用するのではなく、彼らが解決することを意図した問題を解決していることに非常に注意する必要があります。特定の問題を解決するための別のより簡単なルートがあれば、機械学習がそれを見つける可能性があります」と彼女は観察します。 「私たちにとって幸いなことに、「すべての人間を殺す」は本当に難しいです。 「信じられないほどおいしいケーキを焼く」も問題を解決し、「すべての人間を殺す」よりも簡単である場合、機械学習はケーキと一緒に行きます。
