ネットベンチャーニュース
2024年03月29日(金)
 ネットベンチャーニュース

富士通研究所、Deep Learningのニューラルネット規模を倍にする新技術を開発

国内WEB
海外WEB
新着30件






























富士通研究所、Deep Learningのニューラルネット規模を倍にする新技術を開発

このエントリーをはてなブックマークに追加
GPU内部メモリの利用効率をアップ!
株式会社富士通研究所は21日、AIの進展で求められる学習の高精度化に伴ったニューラルネットの大規模化に対応すべく、GPUにおける内部メモリの利用効率を向上させる技術を新規に開発したと発表、最大で従来の約2倍規模となるニューラルネットの学習を可能とすることに成功したとしている。

近年、人間の脳の仕組みを模したDeep Learningと呼ばれる機械学習手法が注目を集めており、GPUの活用やスーパーコンピュータのように複数のGPUを並列動作させ、計算処理をより高速化する技術への関心が高まっている。Deep Learningにおいては、ニューラルネットの層数が多ければ多いほど、認識や分類などの精度向上が図れるためにその大規模化が進んでいるが、大規模化するに従って学習にかかる時間が増大していくからだ。

ひとつのニューラルネットを複数のコンピュータに分割して計算を進めるモデル並列手法をとれば、大規模化は実現できるが、この手法では複数のコンピュータ間でやりとりする際の転送データ量がボトルネックとなり、学習速度が大きく低下してしまう。

一方GPUの高速な演算性能を活用するには、一連の演算で用いるデータを可能な限りGPUの内部メモリに格納する必要があるが、GPUは搭載するメモリ容量が一般的なコンピュータよりも小さく、これによって学習可能なニューラルネット規模が制限されるという課題があった。

ディープラーニング
メモリ領域を効率的に再利用!「Human Centric AI Zinrai」で実用化を目指す
そこで富士通研究所では、モデル並列の手法を用いることなく、1大のGPUで計算できるニューラルネット規模を拡大できるメモリ効率化の技術を新規に開発した。

この新技術では、ニューラルネットの各層における学習処理で、重みデータから中間誤差データを求める演算と、中間データから重みデータの誤差を求める演算とは、独立実行できることに着目。学習スタート時点で、まずニューラルネット各層の構造を解析し、より大きなデータを配置しているメモリ領域を効率よく再利用可能なように演算処理順序を切り替えられるものとした。

この新技術を、オープンソフトウェアのDeep Learningフレームワークである「Caffe」に実装して、GPU内部メモリ使用量を計測する実験を行ったところ、研究分野で広く使用されている画像認識用ニューラルネットの「AlexNet」や「VGGNet」を用いた評価で、40%以上のメモリ使用量削減を達成することができるなど、最大で約2倍規模のニューラルネット学習が可能になることを確認できたそうだ。

富士通研究所では、これによって複雑な処理が求められる大規模ニューラルネットでも、GPUの性能を活かした高速学習演算が可能になり、より高精度なDeep Learningモデルの開発加速が促されるとしている。

今後同研究所では、この新技術を、富士通株式会社のAI技術「Human Centric AI Zinrai」のひとつとして、今年度末までの実用化を目指していくという。また先月発表済みの、GPU並列化によるDeep Learning学習処理の高速化技術と組み合わせ、さらなる技術改善も進めていくとした。

(画像はプレスリリースより)


外部リンク

株式会社富士通研究所 プレスリリース
http://pr.fujitsu.com/jp/news/2016/09/21-1.html

Amazon.co.jp : ディープラーニング に関連する商品
  • エイターリンク、空間伝送型ワイヤレス給電ソリューション「AirPlug」の一般発売開始へ(3月25日)
  • 薄型フィルムで触感を共有、未来の体験のカタチ(3月16日)
  • Uber Eats、都内でロボットによる配送開始へ(2月23日)
  • 手元にマイナンバーカードが無くともdアカウントの本人確認が可能に(2月19日)
  • 災害時避難要支援者をサポートするサービスがリリース(2月19日)
  • Yahoo!ブックマーク  Googleブックマーク  はてなブックマーク  POOKMARKに登録  livedoorClip  del.icio.us  newsing  FC2  Technorati  ニフティクリップ  iza  Choix  Flog  Buzzurl  Twitter  GoogleBuzz
    -->