2009年9月7日月曜日

Hadoopから SQLでデータを取得できる Hive

Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出して、分散処理されて結果を得ることができます。

これはいいかも。でも単純な件数取得に105秒かかるとWebページ表示には使えないか...

via ぽすたうるす

0 件のコメント:

ブログ アーカイブ

カテゴリー