応募要領

応募要領

※今年度の応募要領は現在作成中です。参考までに昨年の情報を掲載しています。

チャレンジ全体で目指すこと

本チャレンジを通して説明付きで質問に答えるAIシステムの実現を目指す。

チャレンジタスクの設定

今回は,シャーロック・ホームズ短編集におけるホームズが解決した事件を題材として行う。
対象とするナレッジグラフを用いて、事件の真相を推論(推理)し、真相と判断した理由の説明と共に示す。
タスクの正解としては、ホームズと同じ結論に辿り着けること。
(ホームズが解決した事件の真相を説明する)

前年のチャレンジとの違い
(以下は2019年版の説明です。2020年版の説明は準備中です)
2019年のナレッジグラフ推論チャレンジは前年に提供した「まだらの紐」のナレッジグラフに加えて、新たに「踊る人形」「同一事件(花婿失踪事件)」「悪魔の足」「背中の曲がった男(曲れる者)」の4作品のナレッジグラフを提供し,計5作品のナレッジグラフを対象とする。
(どれか1つだけ,2つだけ…などでもOK)
また、2019年では新たにツール部門を新設します.ツール部門では、いずれかのタスクを部分的に解くツールの開発でも応募を可能とします。
  例)容疑者の推定、アリバイ検証、動機説明など。
  ★「自然言語文をトリプル化」するナレッジグラフ構築支援ツールの応募も可

個人タスクの設定

まだらの紐:ヘレンを殺したのは誰か?(犯人+説明)
悪魔の足:各人物を殺したのは誰か?(犯人+説明)
同一事件:花婿はなぜ消えたか?(説明)
背中の曲がった男:バークリはなぜ死んだのか?(説明)
踊る人形:暗号を解け(暗号の解読)

タスク実行条件

  • 1.推論は,ナレッジグラフの使用する範囲を段階的に変えた条件下で行う。
    • a)完全:すべてのナレッジグラフを使用する。
    • b)不完全(10%):IDの先頭から末尾の10%手前までのトリプルのみを使う。
    • c)不完全(25%):IDの先頭から末尾の25%手前までのトリプルのみを使う。
      (判定の目安とするID番号は,後日,公開予定です)
  • 2.ナレッジグラフを独自に拡張することも可能(常識知識の追加など)
  • 3.対象ナレッジグラフに不具合(誤字,一貫性の不備,その他ミス)があればプルリクエスト可

応募部門

  • 1.本部門:対象小説1つ以上のタスクを解くシステムを開発
  • 2.ツール部門:いずれかのタスクを部分的に解くツールを開発
    例)容疑者の推定,アリバイ検証,動機説明など。
    ★「自然言語文をトリプル化」するナレッジグラフ構築支援ツールの応募も可
  • 3.アイデア部門:①,②の実現方法のアイデア(実装なしでOK)

提出物

応募シート(doc, pdf)に沿って以下の情報をご提供ください。
応募は本部門,ツール部門,アイデア部門に分かれています。
アイデア部門は以下の1,2,4のみで結構です。

  • 1.応募者に関する情報
  • 2.推論・推理過程の説明
    • -プログラムのログなどを用いてポイントを解説してください.アイデアの場合は自由形式で結構です.
    • -どのIDまでの知識を使ったかや,推論・推理のために応募者が追加した知識について記載してください。(ただし,追加した知識の公開は必須ではありません)
  • 3.実行プログラム  
    • -スタンドアロンアプリケーション,、またはサービス
      (ただし,ソースコードの提出は必須ではありません)
  • 4.資料の共有の可否

応募いただいた「作品応募シート」および「プログラム等」について,可能であれば,ナレッジグラフ推論チャレンジのサイトで公開させていただきたいと考えております(※).応募シートのフォームにご入力の上お知らせください。

  • ※ナレッジグラフ推論チャレンジ関連イベントで応募資料の一部を使用させていただくこともあります。
  • ※応募シートの内容を記載したPDFファイルを電子メールにて以下にご提出下さい(シート作成に使用するソフトウェアは問いません)。
    送付先:knowledge-graph.jp

審査基準(詳細は後日公開)

  • 1.ホームズの推理を再現できるか?
  • 2.説明が納得できるか?
  • 3.技術的な工夫
    • -推論の仕方
    • -拡張した知識
  • 4.評価観点
    • -すべての小説を同じ仕組みで解ける vs. 個別タスクに特化した手法の提案?
    • -少ない知識をうまく使う vs. 多量の知識?
  • 5.書類審査+プレゼンで評価
  • ※参加者による当日審査を実施する予定です。
    チームから少なくとも1名は審査会(12月26日、東京都内で開催予定)にご参加ください(遠方の場合はオンライン発表も可)。
    但し,応募多数の場合は,発表は書類審査による優秀作品に限らせていただきます。