この共同実験により、ビッグデータを検索し、ビッグデータのまま取り出し、表示し、ダウンロードするという、これまで困難であった”ビッグデータサービス“の実現が見えてきました。現在の主なビッグデータを使ったサービスは、最終的に提供されるのはスモールデータとなっています。そのため、ビッグデータを受け取って新たなビッグデータを生み出す知の創造サイクルは育ちにくいものでした。しかし、今回の成果と、今後の５Gなどの高速通信の普及で、ビッグデータが新たな価値あるコンテンツになる環境が揃うことになります。
 
 
「観測データをはじめとして、IoTデータ、ブロックチェーンデータ、ログデータなど、サービス提供ができないがゆえに活用されずに埋もれているビッグデータが世の中には大量に埋蔵されています。それらは本来、高い価値を持っているはずです。まもなく、ビッグデータそのものが流通・取引される時代が来るのではないでしょうか。今回の成果でその突破口が開かれました。”１兆行のマスターデータから“、”必要な条件で”、“億単位の対象データを”、“わずか数秒でダウンロードする”、ということを実現できる日も近いと考えています。」と株式会社ターボデータラボラトリー　代表取締役社長　古庄 晋二氏は述べています。
 
「今回のビッグデータの超高速処理は新開発のREAD ONLYデータベースで実現できました。これにより、増殖する一方のビッグデータの扱いがとても容易になります。マスタービッグデータの管理は、PCサーバとSSDのみで実現可能であり、スケールアウトが容易に行えるため、低コストのシステム構成で大規模データを扱えるようになります。」と株式会社エスペラントシステム　執行役　生座本義勝は述べています。
 
 
【共同研究概要】
タイトル： 巨大時系列データの高速アクセスに関する研究
 
共同研究において大規模データの高速な検索および表示、CSV作成の実証実験を行い、
低コスト環境で高速なビッグデータのダウンロードサービスが実現できることを示す。
 
背景：大規模な観測データの高速・低コストの検索およびダウンロードサービスが必要であった。
 
共同研究実績：

1. アポロ11号～17号が月に設置した地震計から得られた大規模データを分割し、ビッグデータを仮想的にUNIONし、約40億件（4,069,171,800レコード）のテーブルを作成。
2. 『D5Aファイル圧縮』機能を開発。D5Aファイルサイズは、CSVサイズの50%以下にできたため、SSDのストレージサイズを大幅に削減。
3. その結果、平均0.1mSecで検索できた。
4. 複数項目の値の範囲を指定して検索できる、複数項目範囲インデックスを開発。

 
【参考資料】
READ ONLYデータベースによる、高速・大規模・低コストの検索・ダウンロードサービス実現の試み

 
 
【今後の展望】

1. さまざまなビッグデータ（※）の検索・表示・ダウンロードサービスへの展開
   （※）観測データ、IoTデータ、ブロックチェーンデータ、ログデータなど
2. AIとの連携
• ◆ AIによるビッグデータの学習が進めやすくなる：
  現在のデータベース技術では、AIがビッグデータを学習する際に、検索・集計に多大な時間を要するために、学習が進まないという問題を解決できる。
• ◆ データ提供もセットにしたBI分析ツールの登場が期待できる：
  AIはそれ自身ではスモールデータしか出力できない為、AIが当技術を使ってサービスに必要なビッグデータを拾い上げることで、新しいデータ提供サービスが可能になる。データサイエンティストに限らず、マーケティングのリサーチャーなどさまざまな職種の人々の仕事を高度に効率化および容易にできる。

 
 
【エスペラントシステム概要】

社名　　： 株式会社エスペラントシステム
資本金　： 8,800万円
設立日　： 1979年5月1日
所在地　： 本社　千葉県流山市前平井61番地 ESSビル
代表者名： 代表取締役社長　寺平 英昭
事業内容： コンピュータシステムの設計、システム開発、インフラ環境構築、
保守運用、電気工事、LAN敷設工事、クラウドサービス、人材派遣等
URL　　： https://www.ess-g.com/