応募要領

応募要領

応募要件

下記の要件を満たす「大規模言語モデルを利用したナレッジグラフの構築手法」を応募対象とします．

  1. ナレッジグラフを構築する手法である
    • ・構築対象とするナレッジについては，後述の「応募部門」をご覧ください．
    • ・ナレッジグラフの記述形式は任意の形式でも構いませんが，RDFやJSONなどによる広く利用されている形式の使用を推奨します．
    • ・ナレッジグラフ構築の全過程を自動化する手法であることは必須とせず，構築過程の一部を支援する手法も対象とします．
  2. 言語モデルを利用した手法である
    • ・利用する言語モデルの種類は問いません． 例）ChatGPT，Llama2，GPT２，GPT３，BERT．．．など
    • ・既存の言語モデルを用いたサービスのAPIを利用しても構いません．
    • ・ChatGPTやBardなどの既存の言語モデルを用いたサービスと，対話をしながら構築する手法も対象とします．
    • ・言語モデル以外の技術を利用しても構いません，「大規模言語モデル以外の手法のみを用いた手法」は対象外とします．例）「係り受け解析」のみを用いて構築する手法は対象外
  3. 情報源として使用するデータは制限しない
    • ・原則として，データの利用規約やライセンスに違反しない限り，どのようなデータを情報源として利用しても構いません．
    • ・ただし，訓練データにテストデータが含まれないようにして下さい．
    • ・情報源として利用したデータは，応募書類に明記してください．
    • ・使用したデータは公開することが望ましいとしますが，データの公開は応募要件の必須事項とはしません．

応募部門

構築対象とするナレッジグラフの種類に応じた「推理小説部門」および「一般部門」の2部門で応募を受け付けます．
  1. 推理小説部門
    • ・これまでの推論チャレンジで構築・公開してきた「シャーロックホームズの小説を対象としたナレッジグラフ」と『同等のもの』もしくは『より高品質なもの』を構築することをタスクとします．
    • ・公開済の8つの小説のナレッジグラフのうち，一部の小説のナレッジグラフのみを対象としても構いません．例えば，８つを学習用・評価用に分けて利用することも可能です．
    • ・公開済の8つの小説のナレッジグラフを正解として評価を行うため，これら8つ以外の小説を対象としたものは，一般部門に応募してください．
    • ・情報源としてして利用可能なデータとしては，一般的なデータに加えて，
      • ・公開済の8つの小説のナレッジグラフを，一部を学習用，一部を評価用に分けて利用することは認めますが，正解として出力するナレッジグラフをそのまま入力することは禁止します．
      • ・公開済の8つの小説のナレッジグラフの「各シーンを説明したテキスト（日本語/英語）」については，8つすべての小説の分を入力として利用しても構いません．
      • ・8つの小説の原文（日本語/英語）全体を入力として利用しても構いません．
  2. 一般部門
    • ・対象領域を問わない任意のナレッジグラフを構築することをタスクとします．
    • ・グラフ構造で表された様々な知識（ナレッジグラフ）を幅広く対象とします．例えば，以下のようなナレッジグラフが対象となります．
      • - オントロジーやスキーマをもたない，インスタンスレベルのトリプルのみから成るナレッジグラフ
      • - オントロジーとしてのクラス定義を中心としたもの
      • - オントロジーやスキーマに基づいて構築された，詳細な定義を持つナレッジグラフ
    • ・構築したナレッジグラフの内容については，応募フォームで指定する項目（下記を参照）に沿って記載していただきます．

評価方法

  • ・評価は手法の性能単体のみではなく，構築されたナレッジグラフの品質，外部知識との接続性，再利用性などリソースとしての評価を含めた総合評価とします．
    • - WikidataやDBpediaのような汎用ドメインの知識グラフの生成を対象とする場合には，こちらの文献で提案されているベンチマークも参考になると思われます．
  • ・それ以外にも例えば，下記のような評価方法が考えられます． （ただし，これらの評価方法は，参考例であり，これらを評価に用いることは必須ではありません．）
    推理小説部門
    • ・これまでの推論チャレンジで構築・公開してきた「シャーロックホームズの小説を対象としたナレッジグラフ」（既存の推理小説KG）と比較し，『同等なもの』が構築できたかを評価する場合は，
      • - ナレッジグラフの比較に用いた手法・評価基準
      • - その評価基準により「同等であることが評価できる」理由
      を説明する．
    • ・既存の推理小説KGよりも『高品質なナレッジグラフが構築できた』と主張する場合は，「より高品質である」といえる理由を説明する．
    • ・構築したナレッジグラフが，これまで推論チャレンジで対象としていたタスクで，どのように利用できるかを示す．
      →（説明可能なAIに向けた）タスクでの利用方法やその具体例を示す．
    一般部門
    • ・構築したナレッジグラフが，どのようなタスクで，どのように利用できるか？
    • ・構築したナレッジグラフが，対象とした領域の知識をどの程度カバーしているか？
    • ・構築したナレッジグラフを，既存のナレッジグラフやオントロジー，それに類する構造化知識と比較した際に，どの程度一致しているか？
    • ・すべて手動でナレッジグラフを構築した場合と比較して，提案した構築方法を用いることにより，構築に要するコストがどの程度，削減できたか（削減できると見積もれるか）を示す．
      • 例）従来であれば，このナレッジグラフを構築するのに１人月程度のコストを要したが，この手法を用いると３人日に短縮できると見積もれる．

応募方法

以下の内容を電子メールにて提出してください．
送付先：kgrc@knowledge-graph.jp

  • ・構築したナレッジグラフのデータ
    ※以下のいずれかの方法で提供してください．
    • - ナレッジグラフのデータ（ファイルサイズが大きい場合は，データをダウンロードできるURLをご提供ください）
    • - SPARQLエンドポイント等のAPI
  • ・応募シートに必要な項目を記入したもの
    ※「 こちらの応募シート」の内容を記載したPDFファイルを作成して下さい
  • ・ナレッジグラフ構築方法，および，構築したナレッジグラフに関する説明資料（オプション）
    • 応募作品について，自由な形式・内容で説明してください．

審査基準

  1. 各応募者が設定した「評価方法」と「その結果」
    • ・設定された「評価方法」が適切か？
    • ・設定された評価方法に沿った「結果」
  2. 構築されたナレッジグラフの規模と品質
  3. 提案された構築方法の効率
    • ・作業コストがどの程度，軽減されるか？
    • ・実行時のパフォーマンス
  4. 技術的な工夫

上記の内容について，書類審査＋プレゼンテーションで総合的に評価します．（※参加者による当日審査を実施する予定です）

チームから少なくとも1名は審査会（2024年3月9日に，ハイブリッド形式またはオンラインにて開催予定）にご参加ください． ただし，応募多数の場合は，プレゼンテーション発表は書類審査による優秀作品に限らせていただきます．