応募要領

チャレンジタスクの設定

大規模言語モデルを用いたナレッジグラフの構築

応募部門

1. 推理小説部門
   • ・これまでの推論チャレンジで構築・公開してきた「シャーロックホームズの小説を対象としたナレッジグラフ」と同等のものを構築することをタスクとします．
   • ・公開済の8つの小説のナレッジグラフのうち，一部の小説のナレッジグラフのみを対象としても構いません．例えば，８つを学習用・評価用に分けて利用することも可能です．なお，学習用・評価用のデータの分け方については，後日，推奨する設定を公開する予定です．
   • ・公開済の8つの小説のナレッジグラフを正解として評価を行うため，これら8つ以外の小説を対象としたものは，一般部門に応募してください．
     • 8つの小説のナレッジグラフを正解とした際の「正解の判定基準」については，後日，「審査基準」として公開します． 現時点では，
       • ・ナレッジグラフの形式的な一致による判定基準
       • ・これまでの推論チャレンジのタスクにどの程度，利用できるか？
       • ・応募者が独自に設ける基準
       等を総合的に判断することを検討しています．
   • ・情報源としてして利用可能なデータとしては，一般的なデータに加えて，
     • ・公開済の8つの小説のナレッジグラフを，一部を学習用，一部を評価用に分けて利用することは認めますが，正解として出力するナレッジグラフをそのまま入力することは禁止します．
     • ・公開済の8つの小説のナレッジグラフの「各シーンを説明したテキスト（日本語/英語）」については，8つすべての小説の分を入力として利用しても構いません．
     • ・8つの小説の原文（日本語/英語）全体を入力として利用しても構いません．
2. 一般部門
   • ・対象領域を問わない任意のナレッジグラフを構築することをタスクとします．
   • ・グラフ構造で表された様々な知識（ナレッジグラフ）を幅広く対象とします．例えば，以下のようなナレッジグラフが対象となります．
     • - オントロジーやスキーマをもたない，インスタンスレベルのトリプルのみから成るナレッジグラフ
     • - オントロジーとしてのクラス定義を中心としたもの
     • - オントロジーやスキーマに基づいて構築された，詳細な定義を持つナレッジグラフ
   • ・構築したナレッジグラフの内容については，応募フォームで指定する項目（後日公開します）に沿って記載していただきます．
   • ・評価は手法の性能単体のみではなく，構築されたナレッジグラフの品質，外部知識との接続性，再利用性などリソースとしての評価を含めた総合評価とします．（評価基準の詳細は後日公開します）
     • - WikidataやDBpediaのような汎用ドメインの知識グラフの生成を対象とする場合には，こちらの文献で提案されているベンチマークも参考になると思われます．

応募方法

以下の内容を提出していただきます．（提出方法は後日案内いたします）

• ・構築したナレッジグラフのデータ
  ※以下のいずれかの方法で提供してください．
  • - ナレッジグラフのデータ（ファイルサイズが大きい場合は，データをダウンロードできるURLをご提供ください）
  • - SPARQLエンドポイント等のAPI
• ・応募フォーム（※）に必要な項目を記入したもの
  ※詳細は後日公開しますが，以下のような内容を想定しています．
  • - 応募者に関する情報
  • - 構築に用いた「言語モデル」，データ，プログラム等について
  • - 構築したナレッジグラフの基本情報（データサイズ，形式，など）
• ・ナレッジグラフ構築方法，および，構築したナレッジグラフに関する説明資料
  • 応募作品について，自由な形式・内容で説明してください．

審査基準（詳細は後日公開）