ICT情報最前線

売れ筋商品、株式データなどのマーケットや金融に関するデータから、ICT領域におけるシステムログやトラフィックデータ、ソーシャルメディアへ投稿されるメッセージ、あるいは各種センサーから出力されるデータなどといった「大量のデータ」＝「ビッグデータ」が昨今大きな注目を集めている。これは、データそのものを経営資源として捉え、積極的に活用することにより、データ自体を“知識”や“社会の公共財”に変えていくことに期待が高まっているからだ。

2015年には、IPネットワークに接続されるデバイス数が世界の総人口の2倍に膨らみ、グローバルIPトラフィックは1ZettaByte（ゼタバイト）／秒にのぼるといわれている。また別の予測では、2020年までに年率45％の割合でデータが巨大化し、推定総量35ZettaByteまで増大するという試算もある。人間（企業や個人）の活動に限らず、M2M（machine to machine）の世界においても、センサーなどのモノが生み出すデータを巻き込みながらデータ量は巨大化する。

では、我々はその巨大化するビッグデータをどのように活用し、価値に変換していけばよいのだろうか。ビッグデータの本質的なポテンシャルを充分に引き出すためには何をすべきなのだろうか。

ビッグデータの活用自体まだまだ始まったばかりであり、現状はAmazonやGoogleなどのネット企業、製薬会社、自動車会社、電力会社、携帯電話会社など、一つの企業組織の中で収集・蓄積・分析・活用されているに過ぎない。もちろん、こうした特定領域の利用で得られるメリットもあるが、単一の領域に閉じているとその発展は限られる。

ビッグデータの本質的なポテンシャルを引き出すためには、ビッグデータを「混ぜる」という発想が必要だろう。異なる業種、異なる領域間でビッグデータを流通させて混ぜることにより、新たな知識や本当の付加価値を生み出す可能性を持つと考えられるからだ。

「混ぜる」には“さまざまな異分野のデータを混ぜる”や“実世界のリアルなデータにインターネットなどの仮想世界のデータを混ぜる”などがある。このように異なるデータをミックスすることで、データ同士の新たなるつながり、あるいは単一分野では得られない発見が生み出される可能性がある。一方、分析技術においても、集計・統計といった従来の単純な分析技術（Analytics）だけでは充分でなく、より深い分析を可能とする技術、たとえば分析において曖昧さを許容する「多値分類」や、何らかの値が変化する原因の関係を探る「回帰分析」、データを自動的に分類する「クラスタリング手法」、そこから有用な情報を取り出す「データマイニング」などが不可欠であると考える。

未知なる関係性を内在しながら増え続けるビッグデータに対し、蓄積されたデータを定期的に一括処理するバッチ型分析技術が現在注目を集めているが、今後はこれに加えリアルタイム型の高度な分析技術が求められると考える。リアルタイムで高度な分析を実行するためには以下の3つの技術軸がある。

1. 異分野をまたぐ多様なデータや、自然言語など非定形なデータからなる膨大な流量のデータを収集・分析する大容量データ分析基盤技術
2. データの鮮度を損なわず、短時間の変化に追従し、リアルタイムにデータ収集と分析処理を可能とするリアルタイム処理技術
3. 単なる統計処理ではなく、データの深い分類・解析・予測などを可能とする機械学習技術

NTT研究所でも、「大量データ」を「素早く」「深く分析」することを狙ったリアルタイム型ビッグデータ解析基盤「Jubatus」を、昨年Preferred Infrastructure社と共同開発し、オープンソースとして公開（http://jubat.us/）した。今後、このエンジンなどをベースに各業界とオープンコラボレーションを推進できればと、広がる可能性に期待を寄せている。