Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Hadoopソースコードリーディング 第7回 でしゃべってきました

こんにちは。
落合です。

11/28(月)に開かれた「Hadoopソースコードリーディング 第7回」 で、
「Hadoop World NYC 2011 参加レポート」 という形で
阪本、落合が発表してきました。

会場提供、準備、当日の運営、ピザ・ビール(!)で、
濱野さんを始め、データの方々にはお世話になりました。
ありがとうございました!

自分たちの分も含めて、
今日の内容を記録しようと思います。

なお、
「Hadoopソースコードリーディング」は、
諸々の事情から一年前より開催が滞っていましたが、
今後は継続的に開催されるそうです。

次回は1/12(木)が候補ということなので、
今回参加できなかった方はぜひ!

「Hadoop World NYC 2011 参加レポート その1」 by NTTデータ 下垣さん

言わずと知れた、
Hadoop 徹底入門 著者の一人である、下垣さんの発表です。

5個の基調講演の内容、
注目のディズニーの講演の内容等を中心に、
Hadoop World 2011 の全体感を発表してくれました。

・1400人、560企業からの参加
 →来年は3000人、ラスベガスで開催か!?

・HBase のセッションが多かった

・大手ベンダーのアピール合戦
 Big Data 対応で、「うちはここが強い」
 を各社アピール。
 Netezza, Cisco, Dell, ・・・。
 ただし、Oracle だけは「NoSQL も Hadoop も BIツールも全部任せろ」
 強気。すごい。
 hpは・・・

・Informatica による基調講演は難関
 スライドが象徴的な絵のみで字がなく、
 しゃべり倒す講演。
 日本人にはきつい。
 Hadoop World 2011 のAgenda のページに、ビデオが公開されているので、
 挑戦してみては?

「Hadoop's Life in Enterprise Systems」by NTTデータ 政谷さん

Hadoop World で発表した内容を、
この会の中で紹介してくれました!

・比較的少量のデータ(数TBまで)を扱う領域と、大量のデータ(数PB)を扱う場合で、
 Life cycle が異なる。
 少量のデータを扱う場合、small siblings をたくさん作る、
 大量のデータを扱う場合、Big Mother cluster と Children を作る、
 がよい。

PostgreSQL Sqoop connecter

GPGPU

POSIX ファイルシステム

などなど

「Hadoop Trouble Shooting 101」 by Cloudera 嶋内さん

「Hadoop Trouble Shooting 101」の内容を、
スライドを全部日本語に訳した上で紹介してくれました!

設定ではまるポイント満載なので、
環境構築、運用を行う前には必ず読んだ方がいい内容ですね。

・重要なので、机に貼っておくこと
  Total RAM
= (Mappers + Reducers)Child Task Heap
+ DN heap
+ TT heap
+ 3GB
+ RS heap
+ Other Services' heap

特に、「3GB」が重要。
必ず確保すること。

設定ミスは原因究明が困難な問題となることが多いので、
気をつけましょう。

「Hadoop World NYC 2011 参加レポート その2」 by Acroquest 阪本、落合

The Powerful Marriage of R and Hadoop
David Champagne, Revolution Analytics

Indexing the Earth – Large Scale Satellite Image Processing Using Hadoop
Oliver Guinan, Skybox Imaging

Hadoop as a Service in Cloud
Junping Du, VMware
Richard McDougall, VMware

の3つを紹介しました。

「Big Data だ! Hadoop を使うぞ! MapReduce を書こう!」
という使い方は古い、という話です。

Hadoop はインフラとして使い、
その上で既存の資産を生かすのがよいでしょう。

ただ、
内容以上に好評だったのが、
New York の空港の免税店で買った、
象のラベルのお酒「Amarula」でした。

http://www.youtube.com/watch?v=3h9e4Y2MlIg&feature=player_embedded&noredirect=1

あと、2人で掛け合いっぽく発表したのが珍しかったようです。

次は内容で勝負・・・いけるか?