 |
| ・会員価格 ¥220 |
| ・一般価格 ¥330 |
|
|
| こちらはBookPark「電気学会 電子図書館（IEEJ Electronic Library）」による文献紹介ページです。 |
|
 |
 |
電気学会会員の方はこちらから一旦ログインのうえ、マイページからお入りください。
会員価格で購入することができます。
|
|
| 非会員の方はログインの必要はありません。このまま お進みください。 |
|
|
| ■論文No. |
IIC22033 |
| ■ページ数 |
4ページ |
■発行日
|
2022/11/28 |
| ■タイトル |
アテンション及び単文トークンを有する長文エンコード表現 |
| ■タイトル(英語) |
Long Text Encoder Representations with Attention and Single Sentence Tokens |
| ■著者名 |
河野 治憲(芝浦工業大学),清水 創太(芝浦工業大学) |
| ■著者名(英語) |
Harumasa Kawano(Shibaura Institute of Technology),Sota Shimizu(Shibaura Institute of Technology) |
| ■価格 |
会員 ¥220 一般 ¥330 |
| ■書籍種類 |
研究会(論文単位) |
| ■グループ名 |
【D】産業応用部門 産業計測制御研究会 |
| ■本誌 |
2022年12月1日-2022年12月2日産業計測制御研究会-1
|
| ■本誌掲載ページ |
65-68ページ |
| ■原稿種別 |
日本語 |
| ■電子版へのリンク |
|
| ■キーワード |
|
| ■要約(日本語) |
本稿ではアテンション及び単文トークンを有する長文エンコード表現トランスフォーマーについて述べる． |
| ■要約(英語) |
This paper proposes a long text encoder representations with attention and single sentence tokens. The authors paid attention to that BERT’s attention mechanism concentrated values mainly to a CLS token and, as its result, it limited a sentence length for successful translation until 512 words. The proposed encoder ReAT achieved the QQP test by just minus 1 percent accuracy compared to BERT in its verification experiment despite it translated 16384 words successfully as the maximum. |
| ■版 型 |
A4 |
| ■PDFファイルサイズ |
539Kバイト |
|
|
|
