Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Flume+Hadoopを用いた「分散ログ収集ソリューション」の提供を開始

当社Acroquest Technologyは、Flume+Hadoopを用いた「分散ログ収集ソリューション」の提供を開始しました。

プレスリリースページ
http://www.acroquest.co.jp/company/press/2012/0329p1.html

ログ収集を効率的に行うオープンソース・プロダクト Flume に、
独自の拡張を行うことで、
下記の表のようにログ収集処理のパフォーマンスを約200%に向上させています。

Flumeの信頼性モード Flume(オリジナル) 分散ログ収集基盤(拡張) 比率
エンドツーエンド 2,532 MB/分 6,015 MB/分 238 %
ディスクフェイルオーバー 2,497 MB/分 5,575 MB/分 223 %
ベストエフォート 2,445 MB/分 5,321 MB/分 218 %

サーバ構成はスケールアウト可能であり、
要件に合わせてさらに大量のログを収集することも可能です。

今回、独自の拡張を行った Flume の変更部分は、
オープンソースとして開発元にフィードバックを行う方針で、
本ソリューションとしても無償ライセンスで提供する予定です。

当社では、本ソリューションを利用した、
分散ログ収集システム構築・導入のサポートサービスを提供します。