IoT Vol:6「 “ビッグデータ”は果たして大きいか？」

もはやBuzzワードではなくなった感もある「ビックデータ」。しかしながら、IoTデバイスから得られる情報は、おのおのは小さいものの、何百何千とこれらのデータが集まることで新たな価値が生み出される。今回はそんな「ビックデータ」についてお話しします。

つい、大きさばかりが気になりますね

前回に続き、IoTでよく聞くキーワードを見ていきましょう。　今回は「ビッグデータ」です。

ビッグデータと聞くと、多くの人が思い浮かべるのが「一つひとつが大きい、または膨大な容量」のデータ。確かにそれも一理あるのですが、そればかりではありません。どうも「Big」という語感から、イメージがひとり歩きしがち。あらためて情報を整理していきたいと思います。

もとから、大きなデータはたくさんありますよ

まずは、ビッグデータはどこからきたのか、について。

キーワードが浸透しはじめたのは「2010年」。アメリカのストレージ・ベンダ大手「EMC」が使いメディアから注目を集めたそうです。そこから二年、今度はアメリカの科学技政策局（OSTP）がビッグデータ研究について発表し、バズっていったとか。

参考：
http://www.hummingheads.co.jp/reports/closeup/1405/140519_01.html
https://ferret-plus.com/8453

さらに調べてみると、2004年ごろにはすでに使われていた、いいや2007年だ、はたまたアメリカの国税調査のデータ集計が源流だという話も。また、ビッグデータというキーワードをシンボリックにし一大ビジネスにしようという画策で広まったという噂話まで・・・。なにやら、歴史については収集がつかなそうです。さすがビッグデータ。あなどれません。

次にどんな存在なのかについて。ビッグデータを単に“大きいデータ”とすると、なんら新規性のないものになってしまいます。なぜなら、考えて見れば先の国税調査はもちろん、戸籍だってそう。さらに、医療でいえばカルテ。金融でいえば出入金情報。不動産では物件・空き家情報。みんな膨大です。さらに、少し話題はそれますが、今や10TBのハードディスクが3万円台で買える時代。あえて、大きいデータをビッグデータという必要はないといえます。

では一体なんなのか？　今度はデータを扱う側から見ていきましょう。

ここ10年の間で、画期的なサービスが続々と登場してきました。スマホ、クラウド、さらにIoT。これらのサービスはみな、定期的にアップデートされ、性能が向上していく特徴を持ちます。なぜそんなことができるのか？　といえば、継続的にユーザーデータを収集・分析して反映させているから。これはひと昔前には考えられなかったことで、データの扱い方も進化しているのは明らかです。実は、ここにビッグデータの手がかりがあります。

ビッグデータは日々発生し流動するさまざまな情報から生まれます

データの扱い方、もっといえば、収集・分析できるようになったデータの数・種類は、近年で軒並み増えています。その理由こそビッグデータなのです。

長らく、データ分析で扱われてきたのは「構造化データ」でした。エクセルファイルやCSVデータなど「データベースで管理されたデータ」であり、顧客名簿や住所など、「ある目的のために加工された、規則性あるデータ」です。

一方で、「規則性を持たない」データもあります。例えばSNS上のプロフィールやテキスト、サイト上の動画や音声、GPSの位置情報、IoTデバイスのセンサー情報などなど。これらを「非構造化データ」と呼びますが、これがビッグデータの正体。また付け加えれば、ビッグデータは「日々自然発生的に生じる情報」を「データとして分析できるようになった環境またはその仕組み」という概念でもあります。

ここで内容をまとめるとビッグデータは、

・「膨大または多岐にわたる情報」
・「今まで扱えなかった情報のデータ化」
・「あたらしい分析法」

この3つの要素の総体なのです。

書籍などでよく、ビッグデータの定義は「3つのV」と紹介されることがあります。「Volume (容量)」、「Velocity (更新頻度)」、「Variety (多様性) 」です。ただ、これはひとつの特徴と把握しておくとよいかもしれません。なぜなら、共通の定義はないからです。

ちなみに総務省は「ビッグデータとは？」についてこう定義つけています。

“「事業に役立つ知見を導出するためのデータ」”

出典：http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc121410.html

きわめてシンプル＆わかりやすい！

次世代のデータ分析を担うのがビッグデータです

だいぶビッグデータの知見が貯まってきました。それでは最後は、「なぜ今、ビッグデータか？」について見ていきましょう。

ビッグデータが大きなインパクトを与えているのは、ずばり「膨大な情報を、あたらしいデータとして有効活用できるようになった」こと。

ここには、AIの存在も欠かせないのですが、例えば、SNSにアップされた猫の画像。インスタグラムの食事。さらにYouTuberの商品解説など。これらを従来の手法で分析するには途方もない労力とコストが必要。しかし、ビッグデータによりスピーディに大量の分析が実現できるようになりました。日々発生し更新される、いわば“情報の海”から必要なデータを見つけられる、これこそがインパクトなのです。

SNSの普及に加え、センサーが自動で情報を収集するIoTが勃興した現代。ますますビッグデータは、ニーズを拡大していくでしょう。

ただ現在、「膨大な情報から得たデータは本当に有効か」というビッグデータの議論もあります。　これは、またいずれお話することにしましょう。

【執筆：編集Gp　坂本 嶺】