ラフな手描きスケッチや画像で類似古典籍画像を検索できる！最新AIシステム

大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NII）は8日、コンテンツ科学研究系教授の佐藤真一氏、同研究系特任研究員の松井勇佑氏が、国文学研究資料館の山本和明特任教授、松田訓典特任助教との共同研究により、ディープラーニングなどの人工知能（AI）技術を活かした最新の検索システムを開発したことを発表した。手描きのスケッチや画像から、類似の古典籍画像を見つけてくることができるという。

検索はWebブラウザから行え、検索窓部分に手描きでスケッチをすると、それと似た形状を含む古典籍コンテンツの画像がデータベースから探し出され、検索結果として一覧表示される。検索にかかる時間は1ミリ秒以下で、検索対象領域が計100万レベルに増えても1ミリ秒程度での検索完了が可能になっている。

検索結果として表示されたものの中から、任意のものを選択し、検索窓へとドラッグ＆ドロップすると、その画像をもとにさらなる再検索を実行させることもできる。現時点では「絵本和歌浦」、「絵本時世粧」、「絵本姫小松」、「絵本玉かつら」、「十二類絵巻」、「絵本徒然草」の古典籍6冊を対象としたデータベースに含まれる、1,309領域、178枚の画像が検索対象になっている。今後は開発中の領域指定検索機能なども追加搭載、システムに組み込んでいくことを予定しているそうだ。

開発された検索システムは、ディープラーニングと近似最近傍探索技術によって構成されている。手描きスケッチによる検索の場合、描き込まれた情報から即座に深層特徴量として、表現された高次元のベクトルを抽出・認知、リアルタイムで検索を実行・更新することができる仕組みとなっている。

画像による検索では、検索窓に入れた画像中の人物が身につけている被服の色に従った検索を行ったり、顔や画像全体にみられる色彩特徴の類似する画像を探したりすることができる。選んだ画像に川が描かれていれば、それに反応して同様に川を描いている画像を探し出すといったことも可能だ。

この検索システム開発は、共同研究として進めてきた「画像検索のための構造化問い合わせ言語による歴史的典籍画像検索システム」の成果であり、従来は不可能だった「画像内容を考慮した」画像検索を可能にし、古典籍をより身近なものとすること、古典籍に秘められた新知識の発見を支援することを目指して創出された。

今後は、画像検索の処理を構造的・統一的に記述する問い合わせ言語の開発・機能実装も進める予定で、「平安時代の絵巻物の中から“光源氏を後ろから見つめる葵の上”の構図をもつ絵を探す」といった、高度な検索も行えるようにするという。

また将来的には、国内外の美術館に収蔵された古典籍の画像横断検索も実現していきたいとし、将来の研究基盤整備に広く寄与するものとなることを目指している。

（画像はプレスリリースより）




大学共同利用機関法人 情報・システム研究機構 国立情報学研究所　ニュースリリース（プレスリリース）
http://www.nii.ac.jp/news/release/2017/0608.html