Hadoopソースコードリーディング第7回でしゃべってきました

こんにちは。
落合です。

11/28(月)に開かれた「Hadoopソースコードリーディング第7回」で、
「Hadoop World NYC 2011 参加レポート」という形で
阪本、落合が発表してきました。

会場提供、準備、当日の運営、ピザ・ビール(！)で、
濱野さんを始め、データの方々にはお世話になりました。
ありがとうございました！

自分たちの分も含めて、
今日の内容を記録しようと思います。

なお、
「Hadoopソースコードリーディング」は、
諸々の事情から一年前より開催が滞っていましたが、
今後は継続的に開催されるそうです。

次回は1/12(木)が候補ということなので、
今回参加できなかった方はぜひ！

「Hadoop World NYC 2011 参加レポートその1」 by NTTデータ下垣さん

言わずと知れた、
Hadoop 徹底入門著者の一人である、下垣さんの発表です。

5個の基調講演の内容、
注目のディズニーの講演の内容等を中心に、
Hadoop World 2011 の全体感を発表してくれました。

・1400人、560企業からの参加
　→来年は3000人、ラスベガスで開催か！？

・HBase のセッションが多かった

・大手ベンダーのアピール合戦
　Big Data 対応で、「うちはここが強い」
　を各社アピール。
　Netezza, Cisco, Dell, ・・・。
　ただし、Oracle だけは「NoSQL も Hadoop も BIツールも全部任せろ」
　強気。すごい。
　hpは・・・

・Informatica による基調講演は難関
　スライドが象徴的な絵のみで字がなく、
　しゃべり倒す講演。
　日本人にはきつい。
　Hadoop World 2011 のAgenda のページに、ビデオが公開されているので、
　挑戦してみては？

「Hadoop's Life in Enterprise Systems」by NTTデータ政谷さん

Hadoop World で発表した内容を、
この会の中で紹介してくれました！

・比較的少量のデータ（数TBまで）を扱う領域と、大量のデータ（数PB）を扱う場合で、
　Life cycle が異なる。
　少量のデータを扱う場合、small siblings をたくさん作る、
　大量のデータを扱う場合、Big Mother cluster と Children を作る、
　がよい。

・PostgreSQL Sqoop connecter

・GPGPU

・POSIX ファイルシステム

などなど