ナレッジグラフ推論チャレンジ

応募要領

チャレンジ全体で目指すこと

本チャレンジを通して説明付きで質問に答えるAIシステムの実現を目指す.

チャレンジタスクの設定

今回は,シャーロック・ホームズ短編集におけるホームズが解決した事件を題材として行う.
対象とするナレッジグラフを用いて, 事件の真相を推論(推理)し,真相と判断した理由の説明と共に示す.
タスクの正解としては,ホームズと同じ結論に辿り着けること.(ホームズが解決した事件の真相を説明する)

前年のチャレンジとの違い

2019年のナレッジグラフ推論チャレンジは前年に提供した「まだらの紐」のナレッジグラフに加えて,新たに「踊る人形」「同一事件(花婿失踪事件)」「悪魔の足」「背中の曲がった男(曲れる者)」の4作品のナレッジグラフを提供し,計5作品のナレッジグラフを対象とする.(どれか1つだけ,2つだけ…などでもOK)
また,2019年では新たにツール部門を新設します.ツール部門では,いずれかのタスクを部分的に解くツールの開発でも応募を可能とします.
  例)容疑者の推定,アリバイ検証,動機説明など.
  ★「自然言語文をトリプル化」するナレッジグラフ構築支援ツールの応募も可

個別タスクの設定

まだらの紐:ヘレンを殺したのは誰か?(犯人+説明)
悪魔の足:各人物を殺したのは誰か?(犯人+説明)
同一事件:花婿はなぜ消えたか?(説明)
背中の曲がった男:バークリはなぜ死んだのか?(説明)
踊る人形:暗号を解け(暗号の解読)

タスクの実行条件

1.推論は,ナレッジグラフの使用する範囲を段階的に変えた条件下で行う.
 a) 完全:すべてのナレッジグラフを使用する
 b) 不完全(10%):IDの先頭から末尾の10%手前までのトリプルのみを使う.
 c) 不完全(25%):IDの先頭から末尾の25%手前までのトリプルのみを使う.
  (判定の目安とするID番号は,後日,公開予定です)
2.ナレッジグラフを独自に拡張することも可能(常識知識の追加など)
3.対象ナレッジグラフに不具合(誤字,一貫性の不備,その他ミス)があればプルリクエスト可

応募部門

①本部門:対象小説1つ以上のタスクを解くシステムを開発
②ツール部門:いずれかのタスクを部分的に解くツールを開発
  例)容疑者の推定,アリバイ検証,動機説明など.
  ★「自然言語文をトリプル化」するナレッジグラフ構築支援ツールの応募も可
③アイデア部門:①,②の実現方法のアイデア(実装なしでOK)

提出物

応募シート(doc, pdf)に沿って以下の情報をご提供ください.
応募は本部門,ツール部門,アイデア部門に分かれています.アイデア部門は以下の1,2のみで結構です.
1.応募者に関する情報
2.推論・推理過程の説明
 - プログラムのログなどを用いてポイントを解説してください.アイデアの場合は自由形式で結構です.
 - どのIDまでの知識を使ったかや,推論・推理のために応募者が追加した知識について記載してください.
  (ただし,追加した知識の公開は必須ではありません)
3.実行プログラム
 - スタンドアロンアプリケーション,またはサービス
  (ただし,ソースコードの提出は必須ではありません)

※応募シートの内容を記載したPDFファイルを電子メールにて以下にご提出下さい(シート作成に使用するソフトウェアは問いません).
 送付先:knowledge-graph.jp

審査基準(詳細は後日公開)

1.ホームズの推理を再現できるか?
2.説明が納得できるか?
3.技術的な工夫
 - 推論の仕方
 - 拡張した知識
4.評価観点
 - すべての小説を同じ仕組みで解ける vs. 個別タスクに特化した手法の提案?
 - 少ない知識をうまく使う vs. 多量の知識?
5.書類審査+プレゼンで評価

※参加者による当日審査を実施する予定です.
 チームから少なくとも1名は審査会(11月下旬〜12月上旬で調整中)にご参加ください(遠方の場合はオンライン発表も可).
 但し,応募多数の場合は,発表は書類審査による優秀作品に限らせていただきます.