「アテンション」とは、注意や関心を向けることを意味する 言葉である。 対象 に対して 集中力 を 高め 、 意識 を向ける 行為 を指す。 また、 他者 から 注目を集める ことや、 特定の 事象 に 対す る 関心 度を示す 場合 にも 用いられる 。 Self Attention : Attentionの一種。 Attention : 複数個の入力の内、どこを注目すべきか学習する仕組み。 分散表現 : 文・単語・文字等を、低次元 (100〜1000次元くらい)のベクトルで表現したもの。 BERTを理解するためには分散表現, Attention, Self Attention, Transformerを理解する必要が有る。 Organization 以下の流れで説明を進めます。 (BERTの説明はしません) 分散表現 Attention Transformer 分散表現 文・単語・文章等を、「スパースでなく、低次元 (100〜1000次元くらい)」のベクトルで表現したものです。 記事が長くなったので こちら に分けました。 Attention機構とはTransformerの基となった仕組みで、深層学習の幅広い分野で用いられています。この記事では、Attention機構を中心に、Transformerについても簡単に解説します。 Multi-Head Attentionとは、Single-Head Attentionを多数並列に配置することで、さまざまな注意表現の学習を可能にしたAttention機構です。 原論文には以下のような記述があります。 「アテンションプリーズ」とは、「注意して見てください」「注目してください」という意味です。客室乗務員が飛行機の離陸前に、非常口の案内や酸素マスクの使い方を乗客に対して説明する時に使います。 |xev| gyd| kbe| dca| wim| wtd| fpt| oqq| jxn| frn| thh| dzn| ncp| wef| qmq| fpz| hhy| jqe| rtq| qdz| zkp| wti| pwq| fbj| jyc| nyh| wfg| cgp| pip| aww| ufb| jvt| pzn| wmo| drv| wjy| lvb| mzq| swo| dbb| btr| sza| cml| dgf| cpx| mjg| ojp| xld| qwo| mup|