Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Hadoop Conference Japan 2013 Winterでhalookを紹介しました

どうも、かっちです。

先日1月21日、東京ビックサイトにて、
Hadoop Conference Japan 2013 Winter
開催されました。

すでにご存知の方も多いと思いますが、
Taste of Tech Topicsでも取り上げておきたいと
思います。

イベントそのものの紹介は、次のリンクからどうぞ。
Hadoopには力強い未来がある」Doug Cutting氏からのメッセージ─Hadoop Conference Japan 2013 Winterレポート(1)

Acroquest Technology株式会社でも落合さんが、
『トラブルシューティングのために欲しかった、Hadoopがまるっと分かる可視化ツール』
というタイトルで、halookの紹介しました。

UstreamSlideshareは次のリンクから見ることが出来ます。
7F 国際会議場:http://www.ustream.tv/channel/hcj13w-a (1:45:35から)
資料:http://www.slideshare.net/acroquest/halook
github:https://github.com/endosnipe/halook

halookは多数のサーバ、プロセスによって構成されるHadoopの状態をWebで見える化した製品です。

当初は、Hadoopのログを利用して動作を見える化していたのですが、
それだけでは物足りなくなったため、
より内部の状態を可視化できるような仕組みを検討しました。

そこで、自社で開発していたENdoSnipeやJavelinなどのプロダクトを使って
Java内部から直接取り出し、その情報を利用することで
現在のようなビューを実現できるようになりました。

Hadoopのソースを読みながら、フックポイントを見つけては
情報を取り出して行く作業です。

例えば、HBaseのテーブル・サーバ毎のRegion数一覧の
取得などがこれによって実現されました。

ソースを読み解いて、誰もが理解できるビューとして表現できる
ためのポイントとなる情報を取得できるようにする。
これがhalookを作る上で、一番難しいところでした。

フックポイントはまだまだありますが、すべてを活用してはいません。
これからも、開発は続けて行きますので、今後の進化をお楽しみに!


この姿もすっかり板に付いてきましたね。


ロゴの由来となったHDFSビューとともに。

以上