未来に関わるリスクの把握と、それを議論しましょう。
人類滅亡レベルのリスクとは・・・
地球全体規模(Global)で、人類の存続に関わる深刻なリスク(Profound)のこと。
※ニック・ボストロム氏のリスクのカテゴリーの定義を参考
人類滅亡レベルのリスクの例
・スーパーインテリジェンス(ASI)
→超知能の暴走
・グレイ・グー（Grey goo）
→ナノマシンの無限増殖
・異常気象
→限定的な地域の温暖化・寒冷化、洪水(地震もあり)
・核兵器
などなど
細菌兵器とかウィルス兵器は可能性高いと思う。
ゲノム編集とか最近うるせぇしな、そういった技術や知識が流行して簡単に扱われてるからか？
もしも殺戮目的で使われたら終わりだな。
とっくに軍事研究は完成してんだろうけど。
>>4
最近は、威力をあえて弱くした核兵器とかあるもんな
ホモサピエンス全史では核兵器が逆に戦争の抑止力になったとあるけど、これで分からんなw
細菌兵器は致死率8割のエボラウィルスにスペイン風ミックスさせたら最強だろ。末期は血の海で悲惨なことになる グレイ・グー（参考：カーツワイル氏の本）
ナノマシンはその小ささから大量に存在して初めて意味をなす。
重要な要素は人間が１つの細胞から何兆個の細胞に増殖するメカニズムのような機能だ。
しかし、それは時としてがん細胞のようにコントロールできない異常増幅の可能性を示唆する。
ナノマシンはカーボンという４方向に結合できるもので設計されるのが理想だ。
カーボン（炭素分子）はその汎用性から直線的なものや、カーブ状のもの、リング状のものまで構成できる。
筒状のナノチューブやサッカーボール状の非常に強固なマテリアルも作れる。
もし、ナノマシンが暴走して際限なく増殖するとなると、人間などの生物が主な犠牲者になる。
生物はカーボンを豊富に含み、さらにグルコースやATPはナノマシンの栄養分として利用できる。
微量元素の酸素や硫黄、鉄、カルシウム、その他様々なものも含む。
暴走したナノマシンが地球の生物界を滅ぼすのにどのくらいかかるのか？
生物界は約１０^４５個の炭素分子があると見積ることができる。
ナノマシン１体を構成する炭素分子は約１０^６個くらいが妥当だ。
となると、ナノマシンは生命体を分解して１０^３９体増幅する必要がある。
１回の複製で数が２倍になる計算だと１３０回増幅すれば足りることになる。
Rob Freitas氏によると３時間半かかる見積もりである。
しかし、餌になる生命体が綺麗に配置されているわけではないので実際は制限的に破壊の波として
ジワジワと拡大していくことが想定される。
そうなると地球全体をカバーするのに数週間くらいかかると予想できる。
オックスフォード大学の
人類未来研究所が出した報告書ってどっかで見れた気がする
>>9
読んだで、
要約
この分野の研究は重要であるにも関わらず、いくつかの理由で盛んに行われていない。
・不確定要素がある。
・きちんとした手法が確率されていない。
・遠い未来の可能性として考えられている。
重要な理由としては、核を手にしたようにいずれ人類は強大なパワーをコントロールするようになる、そして、それは意図も簡単に人類を滅ぼすことも発展させることもできる。
つまり、簡単に誰でも使える技術が恐ろしいパワーを持つということ。
未来の世代の人類のために、この人類絶滅レベルのリスクの確率を緩和することは今の人類だけの一時的な発展に比べれば非常に大きい貢献になるということを気づかなければいけない。 その他
・ほとんどのこの手の研究で人類が絶滅する確率は10-20%と見積もられていること。ただし、内容が内容なので主観的な判断にならざる得ない。
・天災要素(巨大隕石衝突、火山の壊滅的大噴火、地震、ガンマレイバースト)のリスクは限りなく小さい。ほとんどのExistential Riskは人為的なものに起因する。
Existential Riskの種類
・人類絶滅
・文明の永久的停滞
文明壊滅→文明再発展の繰り返しシナリオなど
・文明の欠陥を伴った成熟
人類絶滅に繋がるか、文明の価値を失うもの(人間の機械化で心を失うなど)
・以上の3つのいずれかのシナリオに繋がるもの
この話題はこれからシンギュラリティに向けて益々価値が出てくる感じだなと思った。
スーパーインテリジェンスの種類
Speed superintelligence
クロックスピードが早いコンピューター。
人間は200hzのクロックスピードに対して、
一般のコンピューターは2Ghz以上と7桁も違う。
電気生理学における脳の伝達の速さは1秒で100mくらいだが、光ファイバーは1秒に300万キロと光速と等しい。つまり10msの遅延を最低限なものにとどめるには生物的脳は0.1立方メートル、コンピューターは10の17乗平方メートル(小惑星程度)になる。
Collective superintelligence
メガアースと呼ばれる現在の100万倍の人口で構成された巨大なグローバル社会。アインシュタインレベルの巨匠が現在の数人から70万人程度いることが考えられる。現代社会のように個人の結び付きは弱い、もしくは、薬や遺伝子操作でより強固な集団社会を形成している。
Qualitative superintelligence
人間と猿の脳はニューロンの配線が殆ど変わらないが、このような人間の脳は猿にしては質的にスーパーインテリジェンスとなる。これと同じ考えで人間よりも質的に上の知能を言う。
ホモサピエンス全史のホモデウスや、強いAIを質的に改善したものが考えられる。
人間レベルの知能からスーパーインテリジェンスまでの進行フェーズ
この進行はS字カーブのようになることが想定される。『Superintelligence』 参考
Human-level intelligence
人間レベルの知能。
ここまでの道のりは緩やかな進歩。
レイ・カーツワイル氏のいうAGI(2029)に相当する。
Crossover
知能の質を自己改善できるようになる。
急激な進歩。
カーツワイル氏の予想にあわせると2030年代後半から40年代前半か？
Civilization
人類の総人口を合わせたものと同じレベルの知能。
さらに急激な進歩。
レイ・カーツワイル氏のいうシンギュラリティ(2045年)に相当する。
Superintelligence
それを更に越えた存在。
ここから再度進歩が緩やかになる。
スーパーインテリジェンスを加速させるエージェントの種類
・Singleton
世界を一つの権力が指揮する状態のこと。
国際機関、宇宙人による支配などその想定は様々。
・国際協力
宇宙ステーション、マンハッタンプロジェクト、ゲノムプロジェクトなどのようなプロジェクト。
・政府
・アカデミー機関
・企業
・ベースメントハッカー
ハッカー個人同士が協力する形態。
シナリオ別のTake offの速さ
➡crossoverフェーズにからsuperintelligenceまでの過程。つまり、AI自信が自己改良ループに入り、知性の爆発が起こる地点。
・遺伝子改良などの生物学的なアプローチである場合。
➡中期〜長期 比較的安全
・ブレーンエミュレーションのシナリオで、スーパーコンピュータを駆使する場合。(ムーアの法則の限界、スケーリングの難しさ)
➡中期〜長期 比較的安全
・AIによるアプローチ
➡短期〜中期 危険
長期・・・期間は1世紀程度。政府の計画的な対処、世論の議論による介入、開発当事者(企業など)の安全対策が十分に行える。また、複数のプロジェクトの同時take offが想定される。
中期・・・期間は数年程度。政府の予め準備されたセーフティーネットの実行やプロジェクトに携わるエンジニアが予め用意していた安全装置を起動させるなどの対処が可能。一つ、または、複数のプロジェクトのtake offが想定される。
短期・・・数分〜数日程度。自動化された、もしくは、簡単に作動できる安全装置の起動は可能。一つのプロジェクトのtake offは可能。
>38 yamaguti 190803 1737 Xl6OoRO0
:
> >930 ｰ 190802 1901 minEqU7z
>> 米国防総省、「JEDI」クラウドプロジェクトの契約を保留--国防長官が調査
>>_http://japan.zdnet.com/amp/article/35140787/
>>
>> ＞われわれの軍が （AI） 最高の能力 、 最も強力な軍であり続ける 固い決意
>
>
>>39 yamaguti 190514 1325 2vGaUUWM
>>ｰ が現実に！？ 「AI
>> _http://dot.asahi.com/wa/2018112100024.html?page=3
>>>、佐藤氏 指摘
>>>
>>>「 ロボ 勝手に戦争 最も警戒 、実は軍人 。これは各国共通 。
>>>開戦に踏み切 、 政治判断 。しかし政治判断が及ばず、戦闘のコントロールが利かな 、それこそ核戦争
>>>、機械が戦争を選択すると、予期しない形で人類が滅びる
>>>
>>> 実際、コンピューターの判断によって核戦争の危機 事件 。1983年9 ソ連 早期警戒システムが、米 弾道ミサイル 誤 探知 アラーム 鳴り響
>> :
>>>「人間の合理的判断があったから回避 、機械にすべて委ね 本当に核戦争 」（佐藤氏
>>>
>>>（本誌・亀井洋志
>>>
>>>週刊朝日 18年11月30 より >44 yamaguti 190803 1740 Xl6OoRO0 \ \ \ \>15 名前：YAMAGUTIseisei E-mail：sage19日鼻血傾向微妙 投稿日：2019/03/27(水) 08:28:44.62 ID:qWdbt0oO?2BP(0) \ \ \ \>67 yamaguti 190123 1600 mAoFHgII?
:
|| 56 yamaguti 190501 1923 q5mPIwuH
||>791 ｰ 190429 1026 0Ft/5ES/
||>英政府機関 被害の多 パスワードを発表。1位は「123456」、「naruto」や「pokemon」も
||>p://blog.livedoor.jp/itsoku/##
||
||>707 ｰ 190427 1616 e4G+JXmO
|| :
||>Microsoft「パスワードの定期的変更は無駄
|| :
|||】サイバー攻撃が発見 までの時間、日本が17時間と12カ国中で最も遅
||| _http://blog.livedoor.jp/itsoku/archives/55216305.html
|| : 最近のニュースを見ていると別に人類なんて滅びてもいいのでは？と思ってしまう今日この頃
自分だけ生き残れるわけ無い。
それとも人類全員と無理心中したいの？
おれは嫌だ。
【岩戸開き日程】
・10/20 (水星東方最大離角、未の五月五日) 七の印、日の蘇りのきっかけ
・10/22(型の冬至の対応日) 日の蘇りの始り、山の津波
────────七合目──七から八から鳴り鳴りて
・10/25 (星8/2) 八月ぐらぐら
・10/26(星8/3 )『次々に不思議出て来るぞ、不思議なくなりたら神の国、ミロクの国となるのぢゃ。八月三日』『仕組途中でグレンと変り、カラリと変る仕組してあるのぢゃ。八月三日』→ 11/3の事
・10/27
──────八合目(仕組始り)──────
・10/28 (裏旧6/28=因縁の日) 岩戸開きの幕あけ、GESARA
・10/29(星8/6)『岩戸開きのはじめの幕 開いたばかりぞ。八月六日』
・10/30(星8/7)『覚悟よいか。待ちに待ちにし秋来たぞ。八月の七日』
────────九合目─────────
・10/31(星8/8) 岩戸開き本番の始り 火の雨
・11/1(星8/9)
・11/2(星8/10) 『世界の愈々のメグリが出て来るのはこれからであるぞ、九月八日の九の仕組 近付いたぞ。八月十日』
────────十合目─────────
・11/3(星8/11、ゴジラの日、断層の境目) 【秋の空グレン】『神の仕組一切り。八月十一日』『この大掃除一旦やんだと安堵する。この時、富士鳴門がひっくりかえるぞ。八月十一日』
¹
・11/4
・11/5(型9/7、世界津波の日)
────────九(光)の世───────
・11/6(型9/8) 九月八日の九の仕組、天照大神殿の十種の神宝にテンが入る(旧九月八日の仕組完了)
・11/7 (型9/9、星8/15)『言答(いわと)明けたる今日ぞ目出度し、二の言答(いわと)早よう明けてよ。八月十五日』
・11/8(型10/10) 『岩戸がひらけたら、岩戸の中から黄(基)の馬が飛び出してくるぞ』
・11/9(星8/17) 『いよいよ地獄の三段目に入るから、その覚悟でゐて呉れよ。八月十七日』
ひふみ神示 〜 世は七度の大変り(最終版)
http●s://i.imgur.com/bfHN9Q0.jpg
根本の型
https●://i.imgur.com/tvRuJhF.jpg
人工知能は神か悪魔か
ユートピアか人類滅亡か
いかにも一神教の価値観って感じ
死んだら無なので誰と死のうが結果は同じ、自殺するなら一人で死ね
>>37
二酸化炭素やリチュウムを出すのは人類の集団無理心中だみたいな事を言う人もいるわけで。 六道神士著のAGEHA２巻で「奔る！二宮尊徳像！」が登場したことから
ここで論ぜられているあれこれは「不発」に終わるけど
「違う形」で世界は滅ぶんだって
>>41
結論を伏せて本を買わせるような書き込みなら要らない、 ひたすらスパム広告投稿と煽りレスをするだけの掲示板って需要ありそう。
>>43
マイナーな掲示板でデモンストレーションしてみたら？ここは規制が厳しいから 駅やコンビニ、ショッピングモールのトイレの紙が無いなんて
ASI(アナル・ショック・インシデント)
非常事態にどうすれば良いんだ？！
温水洗浄式になってるのはこの時のためだったのだ。
あとは風で乾かす。
電池式の扇風機は非力なのでうちわでバタバタする。
コロナはう⚪ちにも出ます。そんな事したら余計なお世話です。
病気で滅亡は無いな
コロナの10倍の致死率でも生まれて増える方が早い
>>50
濃厚接触禁止だから 今真面目にやってる奴は性行為が出来ないんだよ。
ぶっちゃけ長引けば２０２１年生まれが激減する可能性がある
少子化が問題視されていたところに更に問題が発生してるのが今の状況 言いたくないけどさ。あんたいつまでこんなことしてんの？
朝方寝て、昼過ぎにノコノコ起きて来て
それですることと言えば日がな一日パソコンとアニメ
あんた幾つよ？いつまでアニメなんか見てんの？
いい加減卒業したら？あーゆーの
これからどうすんの？ねえどうすんの？
いつ働くの？いつまでこんな生活してんの？
何考えてるの？あんたにとって親ってなんなの？
言っておくけどね、別に親はあんたの奴隷じゃないのよ
いつまで面倒見させる気なのよ。いい加減にしてよ
いつもこう言う話すると黙りこくって部屋に逃げ込むけど
結局あんた逃げてるだけじゃない
進学？資格？言い訳付けて逃げてるだけじゃない
いい加減現実見つめなさいよ
親だって若くないんだから
働きなさいよ。働こうと思えば仕事なんて幾らでもあるでしょ
言っとくけどもう我慢の限界だからね
バイトなりなんなりしないと
どこかの施設に放り込むからね！
なんか、野郎が後40年で種無しになるだろうって学者が書いてるんだが
特に日本人はズロが薄くなって晩婚化してるから
今でも20%位のカップルが不妊なんだと
これが本当なら後120年程で天然人間はいなくなるな
人口養殖人間だけの世界か全滅だなw
>>60
AIが核兵器扱いされて全世界で開発が禁止されるSF
もうあるか AI危険論者の主張はお腹の中にいる子どもは将来犯罪者になるから産むなと言ってるのに等しい
旧暦に八のつく日で区切ってみた。
ht■
>>63
銃の3Dプリントは危険なのと同じ
元から危険なものを組み立てるのは規制すべき 拙者だったらバトル重きを再評価するよ。
拙者だったらバトル重きを再吟味するよ。
拙者だったらバトル重きを再検査するよ。
拙者だったらバトル重きを再検討するよ。
拙者だったらバトル重きを再審するよ。
拙者だったらバトル重きを再調するよ。
拙者だったらバトル重きを見直すよ。
拙者だったらバトル重きを調べ直すよ。
私に於いてはホラー要素が好きだよ。
私に於いてはホラー要素が大好きだよ。
私に於いてはホラー要素が御好みだよ。
私に於いてはホラー要素を愛好するよ。
私に於いてはホラー要素を嗜好するよ。
私に於いてはホラー要素を友好するよ。
勿論フローラモンは楽しいよ。
無論フローラモンは面白いよ。
当然フローラモンは愉快痛快だよ。
一応フローラモンは心嬉しいよ。
多分フローラモンは喜べるよ。
必ずフローラモンは斬新奇抜だよ。
絶対にフローラモンは新機軸だよ。
確実にフローラモンは個性的だよ。
十割フローラモンは画期的だよ。
100%フローラモンは独創的だよ。
寧ろ逆にフローラモンはワクワクドキドキするよ。
他に別にフローラモンはハラハラドキドキするよ。
例え仮に其れでもフローラモンはクリエイティブだよ。
特にフローラモンはエキサイティングだよ。
もしもフローラモンはドラマチックだよ。
>>70
つまりAIを開発するメリットとデメリットを考えて悩んでるのがコンプレックスしている症状なら
そのほうがいいわけだ >> http://rio2016.2ch.net/test/read.cgi/future/1645157525/37
ポジシｮン埋込 タイムステｯプ埋込 マルチヘッド ド
入 各 ↓ ↓ 自己 ━━━━→ ロ
力 → 入力シンボル ─━→ + → + ┯━━━━┯━━→ アテンシｮン ┏━ ッ
シ の埋込 ↑ エ再 │ ↓ プ
┃ ┃ ン帰 └─────────→ + ア
ケ ┃ ブコ 変遷 レイヤの ┃ ウ
ン For ┃ ロ│ ┏ 関数 ←━ 正規化 ←━┛ ト
ス T ステップ数 ┃ ッダ ↓ ↓
┃ ク ドロｯプアウﾄ ━→ + ━→ レイヤ
┗━━━━━━━━━━━━━┳━ 正規化
┃
┃ T ステｯプ
標 タイムステップ埋込 ┐ マルチヘッド ┃ 経過後
的 ポジション埋込 │ 自己アテンシｮン レ ┃
シ 各 ↓ ↓ ↑ ┃ イ ↓
┃ → 標的シンボル ─━→ + → + ┯┯┛ ↓ ヤ マルチヘｯド
ケ の埋込 ↑↓ ドロｯプアウﾄ 正 ┏→ アテンシｮン
ン For ┃ + ←━┛ 規 ┛ ┃
ス T ステｯプ数 ┃ ┗━━━━━━━→ 化 ↓
( 1 ずつ ┃ ↓ ドロｯプアウﾄ
右シフト ┃ 再帰デコーダ ┏ + ←━┛
される ) T ステップ ┃ ブロｯク ↓ 変遷
経過後 ┏━━━┫ ┌━ レイヤ ━→ 関数 ┓
┃ ┃レイヤ ↓ 正規化 ↓
確率出力 ← Softmax ←━┛ ┗ 正規化 ←━ + ←━━━ ドロップアウﾄ 付録Aユニバーサルトランスフォーマーの詳細なスキーマ
図4：位置とステップの埋め込み、およびドロップアウトとレイヤーの正規化を備えたユニバｰ ォーマー。
>> http://rio2016.2ch.net/test/read.cgi/future/1645157525/34
各入力シンボル マルチヘッド
入力 ──→ の ━─━→ 自己アテンション ━→ 変遷関数 ┓ 再帰
シｰケンス 埋込 ↑ ┃ エンコｰダ
┗━━━━━━━━━┳━━━━━━┛ のブロｯク
For T ステップ数 ┃
┃ T ステップ経過後
標的 各標的シンボル マルチヘｯド ↓
シｰケンス ─→ の埋込 ─━→ 自己 ━━→ マルチヘｯド ━┓ 再帰
( 1 ずつ ↑ アテンシｮン アテンシｮン ┃ デコｰダ
右シフト For ┃ ↓ のブロｯク
される ) T ステｯプ数 ┗━━━━━━━━━┳━━━ 変遷関数
┃
確率出力 ←─ Softmax ←━━━━━━━━━━┛ T ステップ経過後
? ry Transformerのエンコーダ ry の反復ブロック
図2 ： Universal Transformer エンコーダとデコーダの再帰ブロック
? この図は ry ステップ符号化、 ry 接続および層正規 ry 。
このダイアグラムわ、位置およびタイムステップエンコーティング、ならびにドロップアウト、残差接続およびレイヤ正規化を省略している。
付録に完全版があります。
? Adaptive Universal Transformerは、ACT ry て各位置のステップ数Tを動 ry 。
各位置に付いてのステップ数 T を適応的ユニバーサルトランスフォーマわ、 ACTを使用して動的に決定します 付録B bAbI の詳細な結果 ? ry BbAbI詳細 ry
各タスクでのベストなシード実行（10回の実行のうち） ? 各タスクに最適なシｰ ry
10K 1K
train single train joint train single train joint ? 列車シングル トレインジョ ry
タスクID
1 0.0 0.0 0.0 0.0
2 0.0 0.0 0.0 0.5
3 0.4 1.2 3.7 5.4
4 0.0 0.0 0.0 0.0
5 0.0 0.0 0.0 0.5
6 0.0 0.0 0.0 0.5
7 0.0 0.0 0.0 3.2
8 0.0 0.0 0.0 1.6
9 0.0 0.0 0.0 0.2
10 0.0 0.0 0.0 0.4
11 0.0 0.0 0.0 0.1
12 0.0 0.0 0.0 0.0
13 0.0 0.0 0.0 0.6
14 0.0 0.0 0.0 3.8
15 0.0 0.0 0.0 5.9
16 0.4 1.2 5.8 15.4
17 0.6 0.2 32.1 43.2
18 0.0 0.0 0.0 4.1
19 2.8 3.1 47.2 69.11
20 0.0 0.0 2.4 2.4
平均エラｰ 0.21 0.29 4.56 7.85
失敗した 0 0 3 5
すべてのシードの平均（±var）（10回の実行）
タスクID
10K 1K
train single train joint train single train joint ? 列車シングルトレインジョ ry
1 0.0 ｱ 0.0 0.0 ｱ 0.0 0.2 ｱ 0.3 0.1 ｱ 0.2
2 0.2 ｱ 0.4 1.7 ｱ 2.6 3.2 ｱ 4.1 4.3 ｱ 11.6
3 1.8 ｱ 1.8 4.6 ｱ 7.3 9.1 ｱ 12.7 14.3 ｱ 18.1
4 0.1 ｱ 0.1 0.2 ｱ 0.1 0.3 ｱ 0.3 0.4 ｱ 0.6
5 0.2 ｱ 0.3 0.8 ｱ 0.5 1.1 ｱ 1.3 4.3 ｱ 5.6
6 0.1 ｱ 0.2 0.1 ｱ 0.2 1.2 ｱ 2.1 0.8 ｱ 0.4
7 0.3 ｱ 0.5 1.1 ｱ 1.5 0.0 ｱ 0.0 4.1 ｱ 2.9
8 0.3 ｱ 0.2 0.5 ｱ 1.1 0.1 ｱ 0.2 3.9 ｱ 4.2
9 0.0 ｱ 0.0 0.0 ｱ 0.0 0.1 ｱ 0.1 0.3 ｱ 0.3
10 0.1 ｱ 0.2 0.5 ｱ 0.4 0.7 ｱ 0.8 1.3 ｱ 1.6
11 0.0 ｱ 0.0 0.1 ｱ 0.1 0.4 ｱ 0.8 0.3 ｱ 0.9
12 0.2 ｱ 0.1 0.4 ｱ 0.4 0.6 ｱ 0.9 0.3 ｱ 0.4
13 0.2 ｱ 0.5 0.3 ｱ 0.4 0.8 ｱ 0.9 1.1 ｱ 0.9
14 1.8 ｱ 2.6 1.3 ｱ 1.6 0.1 ｱ 0.2 4.7 ｱ 5.2
15 2.1 ｱ 3.4 1.6 ｱ 2.8 0.3 ｱ 0.5 10.3 ｱ 8.6
16 1.9 ｱ 2.2 0.9 ｱ 1.3 9.1 ｱ 8.1 34.1 ｱ 22.8
17 1.6 ｱ 0.8 1.4 ｱ 3.4 44.7 ｱ 16.6 51.1 ｱ 12.3
18 0.3 ｱ 0.4 0.7 ｱ 1.4 2.3 ｱ 3.6 12.8 ｱ 9.0
19 3.4 ｱ 4.0 6.1 ｱ 7.3 50.2 ｱ 8.4 73.1 ｱ 23.9
20 0.0 ｱ 0.0 0.0 ｱ 0.0 3.2 ｱ 2.5 2.6 ｱ 2.8
平均 0.73 ｱ 0.89 1.12 ｱ 1.62 6.39 ｱ 3.22 11.21 ｱ 6.62
付録C bAbI 注意の視覚化
いくつかの例として、bAbIタスクの注意分布の視覚化を示します。
? ry 質問のすべての事実に関するさまざまな頭に基づいて、 ry 。
注意の重みの視覚化は、ストーリーと質問との中に於ての事実全てに亘っての様々な各先頭 ( ? 訳注 : 各位置 ) に基づいて，さまざまな時間ステップにわたって行われます。
? ry に基づく注意の重 ry 。
左側の異なるカラーバーは、異なるヘッド（合計4つのヘッド）に基づいた注意それらの重みを示します。
タスク1 からの数例:(解決するために裏付けとなる事実 1 つが必要） ? ry 1の例 ry に1つの裏付け ry 事実 ry
Story : ? 物語：
ジョンは廊下に行った。
メアリーわバスルームに出掛けた。 ? ry はトイレに旅した。
ダニエルわバスルームに戻りました。 ? ry はトイレに ry 。
ジョンは寝室に移動しました
クエリ：
メアリーはどこ？
モデルの出力：
バスルーム
1234 John travelled to the hallway.
1234 Mary journeyed to the bathroom.
12 Daniel went back to the bathroom.
1234 John moved to the bedroom
1234 Where is Mary? Where is Mary?
（a）ステップ1 （b）ステップ2 （c）ステップ3 （d）ステップ4
図5：「メアリーはどこですか？」という質問をエンコードするときの注意分布の視覚化。
タスク2 からの一例：（解決する為にわ 2つの裏付けとなる事実が必要） ? ry 2の例：（解決する2 ry
ストーリー：
サンドラは廊下に旅しました。
メアリーわバスルームに行きました。 ? ry はトイレに ry 。
メアリーはそこでリンゴを取りました。
メアリーはリンゴを落としました。
クエリ：
りんごはどこですか？
モデルの出力：
バスルーム ? 浴室
1234 Sandra journeyed to the hallway.
1234 Mary went to the bathroom.
1234 Mary took the apple there.
12 4 Mary dropped the apple.
234 Where is the apple? Where is the apple?
（a）ステップ1
（b）ステップ2
（c）ステップ3
（d）ステップ4
図6： 「リンゴはどこですか？」という質問をエンコードする際の注意分布の視覚化。
タスク2 からの一例：（解決する2つの裏付けとなる事実が必要） ? ry 2の例 ry
ストーリー：
ジョンは廊下に行きました。
ジョンわバスルームに戻りました。 ? ry はトイレに ry 。
ジョンはそこで牛乳をつかみました。
サンドラはオフィスに戻りました。
サンドラは台所に行きました。
サンドラはそこでリンゴを手に入れました。
サンドラはリンゴをそこに落としました。
ジョンはミルクを落としました。
クエリ：
牛乳はどこですか？
モデルの出力：
バスルーム ? 浴室
4 John went to the hallway.
4 John went back to the bathroom.
1234 John grabbed the milk there.
Sandra went back to the office.
Sandra journeyed to the kitchen.
123 Sandra got the apple there.
123 Sandra dropped the apple there.
123 John dropped the milk.
1234 Where is the milk? Where is the milk?
（a）ステップ1 （b）ステップ2 （c）ステップ3 （d）ステップ4
図7： 「牛乳はどこですか？」という質問をエンコードする際の注意分布の視覚化。
? ry 3の例 ry
タスク3 からの一例:(解決するには3つの裏付けとなる事実が必要）
ストーリー：
メアリーは牛乳を手に入れました。
ジョンは寝室に移動しました。
ダニエルはオフィスに行きました。
ジョンはそこでリンゴをつかんだ。
? ry はサッカーを ry 。
ジョンわフットボールを手に入れました。
ジョンは庭に行きました。
メアリーは牛乳を残しました。
? ry はサッカーを去った。
ジョンわフットボールを残しました。
? ry は庭に引っ越し ry 。
ダニエルわ庭ゑ移動しました。
? ry はサッカーを ry 。
ダニエルわフットボールをつかんだ。
メアリーは廊下に移動しました。
メアリーは台所に行った。
ジョンはそこにリンゴを置いた。
ジョンはリンゴを拾いました。
サンドラは廊下に移動しました。
? ry にサッカーを ry 。
ダニエルはそこにフットボールを残しました。
? ry はサッカーをしました。
ダニエルわフットボールを得ました。
ジョンは台所に行った。
? ry はサッカーを ry 。
ダニエルわフットボールを落とした。
ジョンはリンゴを落とした。
ジョンはリンゴをつかんだ。
ジョンはオフィスに行った。
サンドラは寝室に戻った。
サンドラはミルクを取りました。
ジョンはトイレに行きました。
ジョンはオフィスに行きました。
サンドラは牛乳を残しました。
メアリーは寝室に行った。
? ry はオフィスに引っ越し ry 。
メアリーわオフィスゑ移動した。
ジョンは廊下に行った。
サンドラは庭に移動しました。
メアリーはキッチンに移動しました。
? ry はサッカーをしました。
ダニエルわフットボールを得ました。
メアリーは寝室に行きました。
メアリーはそこで牛乳をつかんだ。
メアリーは牛乳を捨てた。
ジョンは庭に行きました。
ジョンはそこでリンゴを捨てた。
クエリ：
? トイレの前にリンゴは ry ？
バスルームにあった以前にリンゴわどこにありましたか？
モデルの出力：
オフィス
Mary got the milk.
John moved to the bedroom.
Daniel journeyed to the office.
1234 John grabbed the apple there.
John got the football.
John journeyed to the garden.
Mary left the milk.
John left the football.
Daniel moved to the garden.
Daniel grabbed the football.
Mary moved to the hallway.
Mary went to the kitchen.
John put down the apple there.
1 3 John picked up the apple.
Sandra moved to the hallway.
Daniel left the football there.
Daniel took the football.
John travelled to the kitchen.
Daniel dropped the football.
4 John dropped the apple.
1 4 John grabbed the apple.
234 John went to the office.
Sandra went back to the bedroom.
Sandra took the milk.
1234 John journeyed to the bathroom.
John travelled to the office.
Sandra left the milk.
4 Mary went to the bedroom.
Mary moved to the office.
34 John travelled to the hallway.
Sandra moved to the garden.
Mary moved to the kitchen.
Daniel took the football.
Mary journeyed to the bedroom.
Mary grabbed the milk there.
Mary discarded the milk.
John went to the garden.
123 John discarded the apple there.
1234 Where was the apple before the bathroom? Where was the apple before the bathroom?
（a）ステップ1
（b）ステップ2
（c）ステップ3
（d）ステップ4
? ry 「トイレの前にリンゴは ry 。
図8： 「バスルームにあった以前にリンゴわどこにありましたか？」という質問をエンコードしたときの注意分布の視覚化。
LaTeXML [ロゴ]によって生成
私たちが作っている新しいツールについて知りたいですか？
随時更新される場合は、メーリングリストに登録してください。
申し込む
LaTeXMLの助けを借りて、Andreas JanssonとBen Firshmanによって構築されました。
GitHubに貢献してください。
? ry より提供。
YLDのご厚意によりスポンサードされました。
v3-14
付録C。 動的停止 ( 原文 : DYNAMIC HALTING.) を伴うUT。
? ry では、 ry 。
TensorFlowでわ我々わ，ACT（Graves、2016）に基づいて動的停止を次のように実装します
? ry 、確率、剰余、その時点までの更新数、前の状態 ry 化）、および0と1の間のスカラーしきい値（aハイパｰ ｰタ）。
動的停止を使用するUTの各ステップでは，停止確率，余り ( 原文
:remainders , ここでわ各位置に残っている単なる減算差分 ? ) と，その時点までの更新回数と勿論，スカラーしきい値（単一のハイパーパラメータ）を 0と1の間とする限りに於ての前回の状態（すべてゼロとして初期化）と，を我々わ与えた。
? 次に、 ry 。
我々わ次に，各ポジションの新しい状態を計算し、各ポジションの状態に基づいて、ポ ョンごとの新しい停止確率を計算します
次に、UTは、しきい値を超えたいくつかの位置で停止することを決定し、モデルがすべての位置で停止するか、事前定義された最大ステップ数に達するまで、他の位置の状態を更新します。
1 # この述語 ( 原文 : predicate ) がFALSEの場合、Whileループは停止します
2 # つまり、すべて（（確率<しきい値）＆（カウンター<max_steps））は偽です
3 def should_continue ( u0 , u1 , halting_probability , u2 , n_updates , u3 ) :
4 return tf.reduce_any ( # tf.reduce_anyを返します（
5 tf.logical_and (
6 tf.less ( halting_probability , threshold ) ,
7 tf.less ( n_updates , max_steps ) ) )
8 # 上記の述語がfalseになるまでwhileループの反復を実行します
9 ( _ , _ , _ , remainder , n_updates , new_state ) = tf.while_loop (
10 should_continue , ut_with_dynamic_halting , ( state ,
11 step , halting_probability , remainders , n_updates , previous_state ) )
リスト1：動的停止を伴うUT
以下に、各ステップの計算を示します。
1 def ut_with_dynamic_halting ( state , step , halting_probability ,
2 remainders , n_updates , previous_state ) : ? 剰余 ,
3 # この状態を実行する確率ベースを計算します ? 状態 ry
4 p = common_layers.dense ( state , 1 , activation = tf.nn.sigmoid , # ry （状態、1、アクティベーション= tf.nn.sigmoid、
5 use_bias = True )
6 # まだ停止していない各入力の為のマスク ? ry していない入力のマスク
7 still_running = tf.cast (
8 tf.less ( halting_probability , 1.0) , tf.float32 )
9 # このステップで停止した各入力のマスク ? ry した入力
10 new_halted = tf.cast (
11 tf.greater ( halting_probability + p * still_running , threshold ) ,
12 tf.float32 ) * still_running
13 # 停止しておらず、このステップを停止しなかった各入力のマスク ? ry しなかった入力 ry
14 still_running = tf.cast (
15 tf.less_equal ( halting_probability + p * still_running ,
16 threshold ) , tf.float32 ) * still_running # しきい値）、
17 # このステップの各停止確率を、 ? ry の停止確率 ry
18 # まだ停止していない各入力の停止確率に追加します ? ry いない入力 ry
19 halting_probability += p * still_running
20 # このステップで停止した各入力の剰余を計算します ? 停止した入力 ry
21 remainders += new_halted * ( 1 - halting_probability )
22 # このステップで停止した各入力に余りを追加します ? ry した入力に剰余を
23 halting_probability += new_halted * remainders ? ry *剰余
24 # まだ実行中のすべての入力のn_updatesをインクリメントします
25 n_updates += still_running + new_halted
26 # 新しい状態と出力に適用される重みを計算します：
27 # 0 入力がすでに停止している場合、
28 # pは、入力がまだ停止していない場合、、
29 # このステップを停止したときの残り。
30 update_weights = tf.expand_dims ( p * still_running +
31 new_halted * remainders , -1) ? ry *剰余、 ry
32 # この状態に変容を適用します ? 状態に変換を ry
33 transformed_state = transition_function ( self_attention ( state ) )
34 # 変容された状態と前回の状態とを停止されていない各入力の為に ( に付いて ? ) 補間します ? 停止されていない入力の変換された状態と以前の状態を補間 ry
35 new_state = (( transformed_state * update_weights ) +
36 ( previous_state * (1 - update_weights ) ) )
37 step += 1 # ステップ+ = 1
38 return ( transformed_state , step , halting_probability ,
39 remainders , n_updates , new_state ) ? 剰余、 ry
リスト2：動的停止を伴うUTの各ステップでの計算
v3-15
D.2 主語-動詞の一致 ( 原文 : AGREEMENT )
主語と動詞の一致は、英語の文の主語と動詞の間の数の一致を予測するタスクです。
このタスクの成功は、モデルが構文構造を近似することを学習できることを示す強力な指標であるため、Linzen et al。（2016）によってさまざまなモデルが自然言語の階層構造をキャプチャする能力を評価するためのプロキシとして提案されました。
? ry タスクでモ ry 。
このタスクでのモデルをトレーニングするために、Linzenら（2016）によって2つの実験セットアップが提案されました：1）言語モデリングの目的でのトレーニング、つまり次の単語の予測、および2）二項分類としてのトレｰ ﾞ、つまり文に与えられた動詞の数の予測。
この論文では、言語モデリングの目的を使用します。つまり、モデルに暗黙の監視を提供し、動詞の誤った形式と比較した正しい形式の動詞のランク付けの精度に基づいて評価します。
? ry とは反対の数の1 ry 名詞が ry 。
このタスクでは、さまざまなレベルの難易度を持たせるために、「合意アトラクタ ( 原文 : agreement attractors ) 」が使用されます。つまり、モデルを混乱させる目的で、主語とわ反数である所の1つ以上の介在名詞達 ( 原文 : ntervening nouns ) が使用されます
? ry 主語の頭 ry 。
この場合、モデルは、特定の動詞に対応する構文主語 ( 統語的主語 ) の先頭を正しく識別し、その動詞の正しい形式を予測するために、介在するアトラクターを無視する必要があります
サブジェクトと対応する動詞が太字 ( 訳注: この訳でわ大文字 ) で示され、合意アトラクタに下線 ( 訳注 : この訳でわ先頭大文字 ) が引かれている、このタスクのいくつかの例を次に示します。
アトラクタなし： the BOY SMAILES. 少年は微笑みます。
1つのアトラクタ： the NUMBER of Men IS not clear. 男性の数は明確ではありません。
2つのアトラクタ： the RAITO of Men to Women IS not clear. 男性と女性の比率は明確ではありません。
3つのアトラクタ： the RAITO of Men to Women and Children IS not clear. 男性と女性および子供との比率は明確ではありません。
v3-16
D.4 実行するための学習 ( 原文 : LEARNING TO EXECUTE ) （LTE）。 ( 訳注: 汎用プログラム )
? ry 示す一連のタスクであり、 ry 。
LTEは、コンピュータープログラムの実行を学習するモデルの能力を示すタスクを含むセットであり，Zaremba＆Sutskever（2015）によって提案されました
? ry ます。1 ry 、ifステートメント、変数割り当て、演算 ry 性などを理解 ry および2 ry ｰス）。
これらのタスクには、次の2つのサブセットが含まれます
: 1）数値演算，ifステートメント，可変な引数，演算の構成性，など，を理解するためのモデルの能力を査定する為に設計されたプログラム評価タスク（プログラム、制御、および加算）、および更にわ、勿論 2）記憶タスク（コピー、ダブル、リバース）も。
プログラム評価タスクの難易度は、その長さとネストによってパラメータ化されます。
? ry は、プ ムに表示される整数の桁数であり ry に組み合わせ ry です。 。
長さパラメーターわ，プログラムに現れる整数の桁数 ( 原文 : digits ) であり（したがって、整数は[1、長さ]から均一に選択されます）、ネストパラメーターは、操作を相互に我々が組合わせることができる回数です
ネストの値が高いほど、解析ツリーが深くなります。
たとえば、長さ= 4、ネスト= 3で生成されるプログラムを次に示します。
Input: # 入力：
j=8584 ? ：
for x in range(8): ? range（8）のxに対して
j+=920
b=(1500+j)
print((b+7567))
Target: # ターゲット：
25011
>>99
ぐっさんさんなんでこんなスレに投稿すんべかな 
