Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Storm

Apache Storm 1.0.0の機能を使ってみる

お久しぶりです@kojiisd です。このブログへの登場はかなり久しぶりです。昨年10月にミャンマーから日本に帰ってきて、今は、IoTやら可視化などに関する仕事をしていますさて、TwitterよりStormが公開されて以降、分散ストリーム処理フレームワークも、Flink…

Apache版Storm初回リリースの新機能の使い方

こんにちは。kimukimuです。 夏なのか梅雨なのか微妙な気候になっているような感覚を覚える今日この頃です。 いきなり暑くなってきているので、バテないよう気をつける必要がありますね。さて、前回Apache版Stormの新機能の概要について紹介しましたが、 今…

Apache 初回リリースのStorm0.9.1のリリース内容は?

こんにちは。kimukimuです。 徐々に暖かくなってきていますね。春は目前です。さて、つい先日Apache Stormとして初リリースとなる「0.9.1-incubating」がリリースされました! #ちなみに前回リリースは「0.9.0.1」です。今回リリース内容は大きく分けて、Ap…

Storm上で動作するオンライン機械学習ライブラリをOSSとして公開しました!

id:KenichiroMurata (@muraken720)です。昨日、AcroquestはStorm上で動作するオンライン機械学習ライブラリをOSSとして公開しました! ここでも簡単に紹介させて頂きます。 AcroMUSASHI Stream-ML(Machine Learning Library) 「AcroMUSASHI Stream-ML」はS…

Storm関連本とオススメ電子書籍

新年あけましておめでとうございます。ツカノ(@snuffkin)です。 今年最初のT3ブログですね。よろしくお願いします。私はリアルタイム分散処理の仕事に携わっているため、昨年、こんな話題に興味を惹かれました。 CDHによるSparkのサポート AmazonからKinesis…

Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた

こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか? 私はケーキは買う派ではなく、自分で作る派です。……まぁ、食べるのも自分なのですが……クリスマスはさておき、今日はKinesisとStormに関する内容です。A…

Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた

こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 (Amazon Kinesis は、Stormとも連携できるようになっているようです)。さて、先日、Storm 0.9.0 が正式…

Storm0.9.0の新機能(Topology毎のログ出力)を試してみます

こんにちは。kimukimuです。 Storm0.9.0-rc系がリリースされてから正式版が出るのを待っている今日この頃ですが、 Storm0.9.0はApacheプロジェクトに入る前の最終リリースとなるということで、かなり大きなマイルストーンになりそうです。 そのため、検証の…

Storm0.9.0-rc1で何が新しくなったの?

こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Storm…

StormがApache Incubatorプロジェクトになりました!

こんにちは。kimukimuです。 最近台風が多かったから・・・というわけではありませんが、久々のStormのニュースです。Stormについて嬉しい発表がありました。Stormが2013/09/18にApache Incubatorプロジェクトになりました!ページも出来ています。 http://i…

最近、こんな記事を執筆しました

こんにちは。 最近、ちょくちょく雑誌やWeb媒体に記事を書く機会が増えてきた @cero_t です。ただ、あまり計画性のない僕のことですから、いつも「締め切り直前まで熟慮するメソッド」で 自分を追い込んで(追い込まれて?)います(><) なんて思いながら…

メッセージを処理する度に共通処理を行う方法は?

こんにちは。kimukimuです。 少し宣伝を。 2013年5月18日発売のSoftware Design 2013年6月号に、 「春の嵐吹く,リアルタイム分散処理Storm」という形でStormの記事が掲載されています。Stormの概要や実際に外部のプロセスと組み合わせてTopologyを動かす方…

Topologyを起動中にどこまで何が変更できるの?

こんにちは。kimukimuです。 4月になり、花粉も徐々に収まってきたので最近快適ですね! 花粉症仲間(?)の皆さまであれば同意していただけると思います。にしても、スギ花粉が何故こんなに飛んでいるのかというと、 日本の森林の3割はスギとヒノキでしめ…

StormでTopologyを素早く起動させる方法は?

こんにちは。kimukimuです。 最近花粉で駆逐される側に回っている今日この頃です。アレグラFX、ザジテン等普通に薬局で買える薬も強力なものがそろってきているんですが、 それ以上に花粉の症状がひどく、例年になく苦しんでいる状態です。 ・・・ただ、マ…

Storm簡単インストーラにStorm0.8.2対応版を追加しました!

こんにちは。kimukimuです。 Stormについてお知らせを。Storm簡単インストーラにStorm0.8.2対応版を追加しました! https://github.com/acromusashi/storm-installer https://github.com/acromusashi/storm-installer/wiki/Downloadこれでより使いやすくなっ…

StormUnitを使ってJUnitでテスト(その2

こんにちは。kimukimuです。 寒さもピークを過ぎ、徐々に暖かくなってきていると感じる日々ですね。え?まだピークのまま? ・・・寒い日々が続いているので、その辺麻痺しているのかもしれませんね^^;と、それはさておき、前回に引き続き、StormUnitを用…

Storm0.8.2公開、運用や問題解析時の便利機能が追加されました!

こんにちは。kimukimuです。 先日、Stormの最新版、0.8.2の正式版リリースが公開されました。 http://storm-project.net/2013/01/11/storm082-released.html前回のStorm0.8.1が開発を行いやすくする機能が追加されていましたが、 今回はStormUIが主に機能追…

StormUnitを使ってJUnitでテスト(その1

こんにちは。kimukimuです。 新年おめでとうございます。 今年も「Taste of Tech Topics」ブログをよろしくお願いします。では、今日のお題です。 1.JUnitでStormのコンポーネントを検証したい! 過去の機能紹介記事で触れたように、Storm0.8.1からStormのテ…

Stormって条件でBoltを分岐させることってできるの?

こんにちは。kimukimuです。 Stormの次バージョン(0.8.2)の開発を楽しみに待っていますが、 いつの間にか0.8.2の開発版のビルド番号が16まで行っていました(ーー;0.8.2はGUIもパワーアップしているので楽しみです。 ・・・そんなわけで、どこかこのあた…

Storm0.8.1公開。開発における足回りが充実しました。

こんにちは。kimukimuです。 つい先日、Stormの最新版、0.8.1の正式版リリースが公開されました。 ※Stormのダウンロードページから取得可能前回の0.7系 > 0.8系のように大きな機能の追加・・・があるわけではないのですが、 実際に開発を行う上で非常に重要…

Stormの簡単インストーラを公開しました!

こんにちは。kimukimuです。 Trident APIではありませんが、Stormについてお知らせを。Stormの簡単インストーラを公開しました! https://github.com/acromusashi/storm-installerこれまで書いてきた記事では基本的にStormは 依存パッケージをビルドしてイン…

Stormの新機能、Trident APIって何?(その3

こんにちは。kimukimuです。 前回に引き続き、Tridentを用いたコードの内容を見ていきます。前回はSpout部分の内容を確認したので、次はTridentStateの定義部ですね。 3.サンプルのコードを解読します(TridentState) まず、サンプル内での定義部は下記の通…

Stormの新機能、Trident APIって何?(その2

こんにちは。kimukimuです。 では今回は実際にTridentのサンプルをコードに落として動作を見て、 その上で内容を見ていきます。 1.まずはサンプルを動作させてみます storm-starterプロジェクトからTridentWordCountを落としてきて動かしてみます。 実際に動…

Stormの新機能、Trident APIって何?(その1

こんにちは。kimukimuです。 前回はStorm環境構築用のRPMをまとめよう・・・ と考えていましたが、Stormの0.8.0が2012/08/03に正式リリースとなり、 Trident APIという新しいAPI群が追加されちゃいました^^;なので、今回以降はTrident APIについて調べて…

StormのプロセスをDaemon化してみます(その3

こんにちは。kimukimuです。 Stormのサービス化、今日は最終的な動作確認とMonitへの登録確認を行います。 8.実際にStormは動くの? 前回Storm関連プロセスのサービス化を行ったので、 下記の2点の確認を行います。 実際にTopologyをSubmitして動くのか? S…

StormのプロセスをDaemon化してみます(その2

こんにちは。kimukimuです。 前回Stormのサービス化のためにMonitをインストールしましたので、 次は実際にStormをサービス化してみましょう。 6.Stormのサービス化に必要なファイルは? 必要なのは下記の3つです。 /etc/init.d用のサービス操作スクリプト …

StormのプロセスをDaemon化してみます(その1

こんにちは。kimukimuです。 これまでStormの関連プロセス(ZooKeeper、Nimbus、Storm UI、Supervisor)は このブログにおいては手動で起動していましたが、 それだとプロセス管理等も出来ないですし、 ログアウトした時にプロセスが落ちる・・・等といった…

Stormを簡単にインストールする方法は?(その3

こんにちは。kimukimuです。 1.動作しない原因は? 前回StormがRPMインストールを行ったクラスタでうまく動作しなかったため、原因を確認してみます。まずは前回のログを再度確認してみますと・・・ 2012-07-01 20:46:07 worker [ERROR] Error on initializa…

Stormを簡単にインストールする方法は?(その2

こんにちは。kimukimuです。 Storm0.8.0やら、実世界での用途を確認して間が空いちゃいましたが、 Stormを簡単にインストールする方法の続きを確認してみます。というわけで、前回作成したrpmの動作を確認します。 1.仮想マシンの設定 まっさらな環境にイン…

Stormってどこで実際に使われてるの?

こんにちは。kimukimuです。 今日もStormの話です。 ですが、今日は少し趣向を変えてStormが実際にどんな場所で使われているかを紹介してみます。・・・というのも、Stormって「リアルタイム分散処理フレームワーク」ではありますが、 それだけだと何ができ…