コモディティサーバを使ってスケールアウトさせる、ストレージからデータを取り出して処理するのではなく、データのあるところ(ノード)で処理させるというHadoopの思想は、「増え続けるVolumeに如何に対応するか」という問題意識が出発点になっていたように思います。
そのため、Hadoop以降のデータ処理に関連するハードウェアやソフトウェアは、まずはこのVolumeへの対応力を高めるところにフォーカスして開発され、扱えるデータサイズや処理のスループットなどが競われてきました。テクノロジーとしてはMap-Reduce(バッチ)からMPPまで、さまざまなテクノロジーが存在しており、この10年ほどの間にそれぞれのテクノロジーが進歩してきました。
その結果として「Volume」への対応力はテクノロジーの進歩とともに非常に高まってきたと思います。私自身、現在はExadataのユーザですし、周りにはHadoopユーザも多くいますが、数千万、億単位のレコードのテーブルを処理するのは当たり前、というような日々になりつつあります。一昔前と比べると大容量のデータを処理するテクノロジーは大きく発達して、身近に、かつ使いやすくなってきました。
「Volume」への対応力はテクノロジーの進歩が大きく貢献した領域と言えますし、この認識を否定する人はあまりいないでしょう。
ビッグデータの「4V」をテクノロジーはどこまで解決したのか
by Satoshi Nagayasu
https://medium.com/data-practitioner-musings/ビッグデータの-4V-をテクノロジーはどこまで解決したのか-f4f27a266e3f