Taste of Tech Topics

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Storm

Storm0.8.0公開。何が新しくなったんでしょう?

こんにちは。kimukimuです。 つい先日、Stormの最新版、0.8.0の開発版リリースが公開されました。 ※Stormのダウンロードページから取得可能0.7→0.8・・・ということで、マイナーバージョンアップにも見えますが、 現状まだ開発中バージョン(0系)のため、実…

Stormを簡単にインストールする方法は?(その1

こんにちは。kimukimuです。 #今回はDempsyではなく、Stormです^^;最近思うこととして、 『クラスタを簡単に構築できなければ分散システムは使えない』というのがあります。 ・・・ええ、Stormの環境構築って地味に手間がかかるものでして(汗そんなわけ…

Stormデモでのコードを説明します

こんにちは。kimukimuです。3月1日にAdvanced Tech Night No.4 BigDataの次のSTEP リアルタイム分散処理のイマドキを開催しました。 その際のデモのコードを説明します。尚、どんなデモだったかについては下記のSlideを参照してください。 Twitterのリアルタ…

Twitter Stormクラスタを構築します(その2

こんにちは。kimukimuです。前回でStormの動く環境が整いましたので、 次は実際にTopologyを流してみます。 1.Topologyを流す方法は? Nimbusに対してThriftで特定のフォーマットに沿って通信を行えば、 どんな言語からでもTopologyは流せる・・・と、Storm …

Twitter Stormクラスタを構築します(その1

こんにちは。kimukimuです。何回かTwitterStormの記事を投稿してきましたが、 ローカル環境での実行ですとやはり限度があるため、 分散環境で実行可能なStormクラスタを構築して検証します。ホストやゲストのマシンスペック、OS等は以前の投稿を参照してく…

Twitter Stormのデバッグをするには?(その2

こんばんは。kimukimuです。少し間が空いてしまいましたが、 Stormのデバッグと、実際に動くソースの確認をしてみましょう。・・・Storm0.70がリリースされ、Storm-Startarプロジェクトも更新されたので、 今投稿しておかないとずれるという事情はさておきま…

Twitter Stormのデバッグをするには?(その1

こんにちは。kimukimuです。今回は前回までの流れとは少し違いますが、 Twitter Stormをデバッグする方法について書きます。というのも、HadoopやStorm系の分散プラットフォーム上でシステムを開発する場合、 処理がどこを飛び交うかが非常に難解です。なの…

Twitter Stormをインストールしてみます!(その3

こんばんは。kimukimuです。前回に引き続き、Twitter Stormのインストールを続けます。 4.Stormインストールの前提ソフトウェアのインストール(その3 Java 6 言うまでもなくJavaの実行環境ですね。 Stormはjava/clojureというJVM言語で開発されているため…

Twitter Stormをインストールしてみます!(その2

こんばんは。kimukimuです。前回に引き続き、Twitter Stormのインストール手順を書いてみます。・・・今回はあまり画面が無くて、文字ばかりになりますが、ご了承下さい^^; 3.Stormインストールの前提ソフトウェアのインストール(2 ZeroMQ 2.1.7 ZeroMQ…

Twitter Stormをインストールしてみます!(その1

こんばんは。kimukimuです。今日は以前紹介した、Twitter Stormのインストール手順をまとめてみます。公開された直後だったためにそれほど大々的な動きはなかったのですが、 最近Cassandraとの接続プロジェクト等も公開されて、 実際に使えるものになりつつ…