027-02

2021-08-22 (日) 12:50:00 (34d) | Topic path: Top / 027-02

第27回研究会

金融文書を用いた事前学習言語モデルの構築と検証

著者

鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔(東京大学)

概要

事前学習モデル, 自然言語処理, BERT

キーワード

BERTを始めとする事前学習言語モデルは、様々な自然言語処理のタスクにおいて成果を上げている。これらのモデルの多くはWikipediaやニュース記事などの一般的なコーパスを用いているため、専門的な単語が使用される金融分野においては十分な効果が得られない。本研究では決算短信や有価証券報告書から事前学習言語モデルを構築する。また金融ドメインのタスクによって汎用モデルとの性能を比較する。

論文

(10月6日以降に公表いたします)

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS