応募要領
応募要領
チャレンジ全体で目指すこと
本チャレンジを通して説明付きで質問に答えるAIシステムの実現を目指す。
チャレンジタスクの設定
今回は,シャーロック・ホームズ短編集におけるホームズが解決した事件を題材として行う。
対象とするナレッジグラフを用いて、事件の真相を推論(推理)し、真相と判断した理由の説明と共に示す。
タスクの正解としては、ホームズと同じ結論に辿り着けること。
(ホームズが解決した事件の真相を説明する)
前年のチャレンジとの違い
2021年は国内版では学生向けのナレッジグラフ推論チャレンジとしてリニューアル開催します。一般向けは国際版として、別途国際会議の併設ワークショップにの形式で開催を予定しています。国際版は本年度は論文投稿募集のみとして、チャレンジの開催は次年度以降とする予定です(詳細は後日公開)。
また、各応募部門の定義を明確化しました。ひとつの小説でもタスクを解いていたら本部門とし、部分的にでも実装できてたらツール部門として応募してください。
個別タスクの設定
まだらの紐:ジュリアを殺したのは誰か?(犯人+説明)
悪魔の足:各人物を殺したのは誰か?(犯人+説明)
同一事件:花婿はなぜ消えたか?(説明)
背中の曲がった男:バークリはなぜ死んだのか?(説明)
踊る人形:暗号を解け(暗号の解読)
僧坊荘園:ブラックンストール卿を殺したのは誰か?(犯人+説明)
入院患者:ブレシントンを殺したのは誰か?(犯人+説明)
白銀号事件:白銀号を連れ出したのは誰か?(犯人+説明)
タスク実行条件
- 1.推論は,ナレッジグラフの使用する範囲を段階的に変えた条件下で行う。
- a)完全:すべてのナレッジグラフを使用する。
- b)不完全(10%):IDの先頭から末尾の10%手前までのトリプルのみを使う。
- c)不完全(25%):IDの先頭から末尾の25%手前までのトリプルのみを使う。
(判定の目安とするID番号は,後日,公開予定です)
- 2.ナレッジグラフを独自に拡張することも可能(常識知識の追加など)
- 3.対象ナレッジグラフに不具合(誤字,一貫性の不備,その他ミス)があればプルリクエスト可
応募部門
- 1.本部門:対象小説1つ以上のタスクを解くシステムを開発
ひとつの小説でもタスクを解いていたら本部門として応募してください。 - 2.ツール部門:いずれかのタスクを部分的に解くツールを開発
例)容疑者の推定,アリバイ検証,動機説明など。
★「自然言語文をトリプル化」するナレッジグラフ構築支援ツールの応募も可 - 3.アイデア部門:①,②の実現方法のアイデア(実装無しでOK)
部分的にでも実装ができている場合はツール部門として応募してください。
提出物
応募シート(doc, pdf)に沿って以下の情報をご提供ください。
応募は本部門,ツール部門,アイデア部門に分かれています。
アイデア部門は以下の1,2,4のみで結構です。
- 1.応募者に関する情報
- 2.推論・推理過程の説明
- -プログラムのログなどを用いてポイントを解説してください.アイデアの場合は自由形式で結構です.
- -どのIDまでの知識を使ったかや,推論・推理のために応募者が追加した知識について記載してください。(ただし,追加した知識の公開は必須ではありません)
- 3.実行プログラム
- -スタンドアロンアプリケーション,、またはサービス
(ただし,ソースコードの提出は必須ではありません)
- -スタンドアロンアプリケーション,、またはサービス
- 4.資料の共有の可否
応募いただいた「作品応募シート」および「プログラム等」について,可能であれば,ナレッジグラフ推論チャレンジのサイトで公開させていただきたいと考えております(※).応募シートのフォームにご入力の上お知らせください。
- ※ナレッジグラフ推論チャレンジ関連イベントで応募資料の一部を使用させていただくこともあります。
- ※応募シートの内容を記載したPDFファイルを電子メールにて以下にご提出下さい(シート作成に使用するソフトウェアは問いません)。
送付先:kgrc[あっと]knowledge-graph.jp
審査基準(詳細は後日公開)
- 1.ホームズの推理を再現できるか?
- 2.説明が納得できるか?
- 3.技術的な工夫
- - 推論の仕方
- - 拡張した知識
- 4.評価観点
- - すべての小説を同じ仕組みで解ける vs. 個別タスクに特化した手法の提案?
- - 少ない知識をうまく使う vs. 多量の知識?
- - 複数の作品に共通的に適用できる手法を高く評価
- 5.書類審査+プレゼンで評価
- ※参加者による当日審査を実施する予定です。
チームから少なくとも1名は審査会(12月、東京都内で3月上旬にオンラインにて開催予定)にご参加ください。
但し,応募多数の場合は,発表は書類審査による優秀作品に限らせていただきます。