ヤフー、ビッグデータ分析を高速化する検索技術「NGT」を開発・公開

ヤフー株式会社は24日、ビッグデータ分析の高速化を実現する最先端技術として、複数の特徴をもった高次元データの高速検索技術「NGT（Neighborhood Graph and Tree for Indexing）」を開発し、オープンソースソフトウェア（OSS）として「GitHub」にて公開・提供を開始したことを発表した。同技術に関しては、ヤフーが特許を取得しているが、これに関係する特許実施権を無償で提供するという。

「NGT」は、テキストや画像、商品やユーザーに関するデータなど、さまざまな高次元データを大量のデータベースの中からでも高速に検索・特定できる技術。近年、活況を呈しているAI（人工知能）やIoT関連の開発で、巨大化の一途をたどるビッグデータ分析を高速で行えるものとする。

「NGT」では、言語データや画像特徴データなど、どのようなデータに関しても、最先端を行く学術領域での既存類似技術における主流のものと比べ、12倍以上も高速な検索が可能になっているという。

データとして、検索精度90％、200万件の言語データを対象とした検索において、既存類似技術の中で最も高速とされる「SASH」の検索時間が、約2.4ミリ秒であるのに対し、「NGT」は最速で約0.6ミリ秒と約4.0倍の高速性を発揮したことが示されている。また、主流技術となっている「FLANN」との比較では、「FLANN」が約7.4ミリ秒を要しており、「NGT」は約12.3倍も高速であることになる。

画像特徴データについても、同じく検索精度90％で1,000万件のデータを対象に検索を行った場合、既存技術で最高速とされる「直積量子化手法（PQ）」の検索時間が約7.9ミリ秒だったのに対し、「NGT」では最速約1.4ミリ秒で、約5.6倍の高速性を記録した。ちなみに主流技術「FLANN」では約18.9ミリ秒かかっており、「NGT」で約13.5倍の高速化が実現できるとみられる。

ヤフーによると、とくに言語データにおける「NGT」の高速性を示した最新の研究結果は、AIの代表的な重要領域である自然言語処理分野で最高峰とされる国際会議「ACL 2016（54th Annual Meeting of the Association for computational Linguistics）」で論文として採択され、その有用性が高く評価されたそうだ。

この「NGT」については、商用不可の研究用途限定で、昨年9月から「Yahoo！JAPAN研究所」サイトにおいて公開を行ってきたが、今回、さらに社内外を問わず、さまざまなバックボーンをもった多数のデータサイエンティストとともに、技術としてさらに発展させていけるよう、「GitHub」での公開を決めたとしている。

高次元データの高速検索が可能になることで、まずテキストや画像、商品・ユーザーデータなど、多数のデータの中から近似したデータのマッチングを高速で実施、AI技術の精度向上に貢献させられると考えられる。

Yahoo！JAPANでも、機械学習やディープラーニングを活用している、スマートフォン向けのYahoo！JAPANアプリにおけるニュースをはじめとしたコンテンツのパーソナライズ配信や、「Yahoo！ディスプレイアドネットワーク」における運用型ディスプレイ広告の最適配信への応用で実用化を目指した取り組みを始めているという。

また、多岐にわたる項目、フォーマットも入力方法もさまざまで結びつけることが難しい大量のデータを「NGT」で高速に照合させ、データの名寄せなど、企業内に蓄積されているにもかかわらず、活用しきれていないビッグデータを活かせるかたちに置き換え、AI活用でも求められる質の高いビッグデータ生成に寄与させるといった技術応用も期待される。

ヤフーでは、「NGT」を活かしたスマートフォン向けアプリとして、スマートフォン内蔵のカメラを任意の商品にかざしさえすれば「Yahoo！ショッピング」内にある多数のストアの商品ページから、該当のものを最安値で取り扱っているページを特定、抽出することができる「サイヤスカメラ」を開発、18日から「Yahoo！ラボ」のアプリとして実験的に公開を開始している。

「サイヤスカメラ」の対応OSは、iOS 9.0以降。現時点では、ドリンク、食料品の一部、キッチン・日用品の一部、本・雑誌・コミック、音楽・映像ソフトのカテゴリにある商品のみ対応となっているが、順次拡大予定とされ、App Storeから入手すれば、無料で利用することができる。

ヤフーでは、「マルチビッグデータ」の利活用を進めるべく、「技術で世界TOP10」となることを掲げており、大学や研究機関との共同研究や、OSSコミュニティへの貢献など、オープンなコラボレーションを推進している。

今回のOSS公開も、そうした同社の方針による取り組みの一環であり、今後もOSSコミュニティのコミッターとして、コミュニティ活性化に寄与するノウハウの提供などを行っていくとした。

（画像はプレスリリースより）




ヤフー株式会社　プレスリリース
http://pr.yahoo.co.jp/release/2016/11/24a/

「GitHub」　「NGT」公開ページ
https://github.com/yahoojapan/NGT

App Store　「サイヤスカメラ」
https://itunes.apple.com/jp/app/saiyasukamera/id1173810477