Storm
お久しぶりです@kojiisd です。このブログへの登場はかなり久しぶりです。昨年10月にミャンマーから日本に帰ってきて、今は、IoTやら可視化などに関する仕事をしていますさて、TwitterよりStormが公開されて以降、分散ストリーム処理フレームワークも、Flink…
こんにちは。kimukimuです。 夏なのか梅雨なのか微妙な気候になっているような感覚を覚える今日この頃です。 いきなり暑くなってきているので、バテないよう気をつける必要がありますね。さて、前回Apache版Stormの新機能の概要について紹介しましたが、 今…
こんにちは。kimukimuです。 徐々に暖かくなってきていますね。春は目前です。さて、つい先日Apache Stormとして初リリースとなる「0.9.1-incubating」がリリースされました！ ＃ちなみに前回リリースは「0.9.0.1」です。今回リリース内容は大きく分けて、Ap…
id:KenichiroMurata (@muraken720)です。昨日、AcroquestはStorm上で動作するオンライン機械学習ライブラリをOSSとして公開しました！ ここでも簡単に紹介させて頂きます。 AcroMUSASHI Stream-ML（Machine Learning Library） 「AcroMUSASHI Stream-ML」はS…
新年あけましておめでとうございます。ツカノ(@snuffkin)です。 今年最初のT3ブログですね。よろしくお願いします。私はリアルタイム分散処理の仕事に携わっているため、昨年、こんな話題に興味を惹かれました。 CDHによるSparkのサポート AmazonからKinesis…
こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか？ 私はケーキは買う派ではなく、自分で作る派です。……まぁ、食べるのも自分なのですが……クリスマスはさておき、今日はKinesisとStormに関する内容です。A…
こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 （Amazon Kinesis は、Stormとも連携できるようになっているようです）。さて、先日、Storm 0.9.0 が正式…
こんにちは。kimukimuです。 Storm0.9.0-rc系がリリースされてから正式版が出るのを待っている今日この頃ですが、 Storm0.9.0はApacheプロジェクトに入る前の最終リリースとなるということで、かなり大きなマイルストーンになりそうです。 そのため、検証の…
こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Storm…
こんにちは。kimukimuです。 最近台風が多かったから・・・というわけではありませんが、久々のStormのニュースです。Stormについて嬉しい発表がありました。Stormが2013/09/18にApache Incubatorプロジェクトになりました！ページも出来ています。 http://i…
こんにちは。 最近、ちょくちょく雑誌やWeb媒体に記事を書く機会が増えてきた @cero_t です。ただ、あまり計画性のない僕のことですから、いつも「締め切り直前まで熟慮するメソッド」で 自分を追い込んで（追い込まれて？）います（＞＜） なんて思いながら…
こんにちは。kimukimuです。 少し宣伝を。 2013年5月18日発売のSoftware Design 2013年6月号に、 「春の嵐吹く，リアルタイム分散処理Storm」という形でStormの記事が掲載されています。Stormの概要や実際に外部のプロセスと組み合わせてTopologyを動かす方…
こんにちは。kimukimuです。 ４月になり、花粉も徐々に収まってきたので最近快適ですね！ 花粉症仲間（？）の皆さまであれば同意していただけると思います。にしても、スギ花粉が何故こんなに飛んでいるのかというと、 日本の森林の３割はスギとヒノキでしめ…
こんにちは。kimukimuです。 最近花粉で駆逐される側に回っている今日この頃です。アレグラＦＸ、ザジテン等普通に薬局で買える薬も強力なものがそろってきているんですが、 それ以上に花粉の症状がひどく、例年になく苦しんでいる状態です。 ・・・ただ、マ…
こんにちは。kimukimuです。 Stormについてお知らせを。Storm簡単インストーラにStorm0.8.2対応版を追加しました！ https://github.com/acromusashi/storm-installer https://github.com/acromusashi/storm-installer/wiki/Downloadこれでより使いやすくなっ…
こんにちは。kimukimuです。 寒さもピークを過ぎ、徐々に暖かくなってきていると感じる日々ですね。え？まだピークのまま？ ・・・寒い日々が続いているので、その辺麻痺しているのかもしれませんね＾＾；と、それはさておき、前回に引き続き、StormUnitを用…
こんにちは。kimukimuです。 先日、Stormの最新版、0.8.2の正式版リリースが公開されました。 http://storm-project.net/2013/01/11/storm082-released.html前回のStorm0.8.1が開発を行いやすくする機能が追加されていましたが、 今回はStormUIが主に機能追…
こんにちは。kimukimuです。 新年おめでとうございます。 今年も「Taste of Tech Topics」ブログをよろしくお願いします。では、今日のお題です。 1.JUnitでStormのコンポーネントを検証したい！ 過去の機能紹介記事で触れたように、Storm0.8.1からStormのテ…
こんにちは。kimukimuです。 Stormの次バージョン（0.8.2）の開発を楽しみに待っていますが、 いつの間にか0.8.2の開発版のビルド番号が16まで行っていました（ーー；0.8.2はGUIもパワーアップしているので楽しみです。 ・・・そんなわけで、どこかこのあた…
こんにちは。kimukimuです。 つい先日、Stormの最新版、0.8.1の正式版リリースが公開されました。 ※Stormのダウンロードページから取得可能前回の0.7系 ＞ 0.8系のように大きな機能の追加・・・があるわけではないのですが、 実際に開発を行う上で非常に重要…
こんにちは。kimukimuです。 Trident APIではありませんが、Stormについてお知らせを。Stormの簡単インストーラを公開しました！ https://github.com/acromusashi/storm-installerこれまで書いてきた記事では基本的にStormは 依存パッケージをビルドしてイン…
こんにちは。kimukimuです。 前回に引き続き、Tridentを用いたコードの内容を見ていきます。前回はSpout部分の内容を確認したので、次はTridentStateの定義部ですね。 3.サンプルのコードを解読します（TridentState） まず、サンプル内での定義部は下記の通…
こんにちは。kimukimuです。 では今回は実際にTridentのサンプルをコードに落として動作を見て、 その上で内容を見ていきます。 1.まずはサンプルを動作させてみます storm-starterプロジェクトからTridentWordCountを落としてきて動かしてみます。 実際に動…
こんにちは。kimukimuです。 前回はStorm環境構築用のRPMをまとめよう・・・ と考えていましたが、Stormの0.8.0が2012/08/03に正式リリースとなり、 Trident APIという新しいAPI群が追加されちゃいました＾＾；なので、今回以降はTrident APIについて調べて…
こんにちは。kimukimuです。 Stormのサービス化、今日は最終的な動作確認とMonitへの登録確認を行います。 8.実際にStormは動くの？ 前回Storm関連プロセスのサービス化を行ったので、 下記の２点の確認を行います。 実際にTopologyをSubmitして動くのか？ S…
こんにちは。kimukimuです。 前回Stormのサービス化のためにMonitをインストールしましたので、 次は実際にStormをサービス化してみましょう。 6.Stormのサービス化に必要なファイルは？ 必要なのは下記の３つです。 /etc/init.d用のサービス操作スクリプト …
こんにちは。kimukimuです。 これまでStormの関連プロセス（ZooKeeper、Nimbus、Storm UI、Supervisor）は このブログにおいては手動で起動していましたが、 それだとプロセス管理等も出来ないですし、 ログアウトした時にプロセスが落ちる・・・等といった…
こんにちは。kimukimuです。 1.動作しない原因は？ 前回StormがRPMインストールを行ったクラスタでうまく動作しなかったため、原因を確認してみます。まずは前回のログを再度確認してみますと・・・ 2012-07-01 20:46:07 worker [ERROR] Error on initializa…
こんにちは。kimukimuです。 Storm0.8.0やら、実世界での用途を確認して間が空いちゃいましたが、 Stormを簡単にインストールする方法の続きを確認してみます。というわけで、前回作成したrpmの動作を確認します。 1.仮想マシンの設定 まっさらな環境にイン…
こんにちは。kimukimuです。 今日もStormの話です。 ですが、今日は少し趣向を変えてStormが実際にどんな場所で使われているかを紹介してみます。・・・というのも、Stormって「リアルタイム分散処理フレームワーク」ではありますが、 それだけだと何ができ…
