読者です 読者をやめる 読者になる 読者になる

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Hadoop Conference Japan 2013 Winterでhalookを紹介しました

どうも、かっちです。

先日1月21日、東京ビックサイトにて、
Hadoop Conference Japan 2013 Winter
開催されました。

すでにご存知の方も多いと思いますが、
Taste of Tech Topicsでも取り上げておきたいと
思います。

イベントそのものの紹介は、次のリンクからどうぞ。
Hadoopには力強い未来がある」Doug Cutting氏からのメッセージ─Hadoop Conference Japan 2013 Winterレポート(1)

Acroquest Technology株式会社でも落合さんが、
『トラブルシューティングのために欲しかった、Hadoopがまるっと分かる可視化ツール』
というタイトルで、halookの紹介しました。

UstreamSlideshareは次のリンクから見ることが出来ます。
7F 国際会議場:http://www.ustream.tv/channel/hcj13w-a (1:45:35から)
資料:http://www.slideshare.net/acroquest/halook
github:https://github.com/endosnipe/halook

halookは多数のサーバ、プロセスによって構成されるHadoopの状態をWebで見える化した製品です。

当初は、Hadoopのログを利用して動作を見える化していたのですが、
それだけでは物足りなくなったため、
より内部の状態を可視化できるような仕組みを検討しました。

そこで、自社で開発していたENdoSnipeやJavelinなどのプロダクトを使って
Java内部から直接取り出し、その情報を利用することで
現在のようなビューを実現できるようになりました。

Hadoopのソースを読みながら、フックポイントを見つけては
情報を取り出して行く作業です。

例えば、HBaseのテーブル・サーバ毎のRegion数一覧の
取得などがこれによって実現されました。

ソースを読み解いて、誰もが理解できるビューとして表現できる
ためのポイントとなる情報を取得できるようにする。
これがhalookを作る上で、一番難しいところでした。

フックポイントはまだまだありますが、すべてを活用してはいません。
これからも、開発は続けて行きますので、今後の進化をお楽しみに!


この姿もすっかり板に付いてきましたね。


ロゴの由来となったHDFSビューとともに。

以上