こんにちは。kimukimuです。 つい先日、Stormの最新版、0.8.0の開発版リリースが公開されました。 ※Stormのダウンロードページから取得可能0.7→0.8・・・ということで、マイナーバージョンアップにも見えますが、 現状まだ開発中バージョン（0系）のため、実…

こんにちは。kimukimuです。 ＃今回はDempsyではなく、Stormです＾＾；最近思うこととして、 『クラスタを簡単に構築できなければ分散システムは使えない』というのがあります。 ・・・ええ、Stormの環境構築って地味に手間がかかるものでして（汗そんなわけ…

こんにちは。kimukimuです。3月1日にAdvanced Tech Night No.4 BigDataの次のSTEP リアルタイム分散処理のイマドキを開催しました。 その際のデモのコードを説明します。尚、どんなデモだったかについては下記のSlideを参照してください。 Twitterのリアルタ…

こんにちは。kimukimuです。前回でStormの動く環境が整いましたので、 次は実際にTopologyを流してみます。 1.Topologyを流す方法は？ Nimbusに対してThriftで特定のフォーマットに沿って通信を行えば、 どんな言語からでもTopologyは流せる・・・と、Storm …

こんにちは。kimukimuです。何回かTwitterStormの記事を投稿してきましたが、 ローカル環境での実行ですとやはり限度があるため、 分散環境で実行可能なStormクラスタを構築して検証します。ホストやゲストのマシンスペック、ＯＳ等は以前の投稿を参照してく…

こんばんは。kimukimuです。少し間が空いてしまいましたが、 Stormのデバッグと、実際に動くソースの確認をしてみましょう。・・・Storm0.70がリリースされ、Storm-Startarプロジェクトも更新されたので、 今投稿しておかないとずれるという事情はさておきま…

こんにちは。kimukimuです。今回は前回までの流れとは少し違いますが、 Twitter Stormをデバッグする方法について書きます。というのも、HadoopやStorm系の分散プラットフォーム上でシステムを開発する場合、 処理がどこを飛び交うかが非常に難解です。なの…

こんばんは。kimukimuです。前回に引き続き、Twitter Stormのインストールを続けます。 4.Stormインストールの前提ソフトウェアのインストール（その３ Java 6 言うまでもなくJavaの実行環境ですね。 Stormはjava/clojureというJVM言語で開発されているため…

こんばんは。kimukimuです。前回に引き続き、Twitter Stormのインストール手順を書いてみます。・・・今回はあまり画面が無くて、文字ばかりになりますが、ご了承下さい＾＾； 3.Stormインストールの前提ソフトウェアのインストール（２ ZeroMQ 2.1.7 ZeroMQ…

こんばんは。kimukimuです。今日は以前紹介した、Twitter Stormのインストール手順をまとめてみます。公開された直後だったためにそれほど大々的な動きはなかったのですが、 最近Cassandraとの接続プロジェクト等も公開されて、 実際に使えるものになりつつ…