028-24

2022-03-09 (水) 08:37:40 (75d) | Topic path: Top / 028-24

第28回研究会

事前学習と追加事前学習による金融言語モデルの構築と検証

著者

鈴木雅弘, 坂地泰紀, 平野正徳, 和泉潔(東京大学)

概要

本研究では決算短信や有価証券報告書を用い、言語モデルのBERTとELECTRAについて、事前学習や追加で事前学習(追加事前学習)を行いモデルを構築する。構築したモデルについて、金融ドメインのタスクによって汎用コーパスを用いたモデルとの性能を比較する。その際、ファインチューニングを行う層の数などパラメーターによる性能についても比較を行う。構築した一部のモデルについては一般に公開する。

キーワード

事前学習モデル, 追加事前学習, 自然言語処理, BERT, ELECTRA

論文

file24_SIG-FIN-28.pdf

添付ファイル: file24_SIG-FIN-28.pdf 151件 [詳細]
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS