読者です 読者をやめる 読者になる 読者になる

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Storm

Apache Storm 1.0.0の機能を使ってみる

お久しぶりです@kojiisd です。このブログへの登場はかなり久しぶりです。昨年10月にミャンマーから日本に帰ってきて、今は、IoTやら可視化などに関する仕事をしていますさて、TwitterよりStormが公開されて以降、分散ストリーム処理フレームワークも、Flink…

Apache版Storm初回リリースの新機能の使い方

こんにちは。kimukimuです。 夏なのか梅雨なのか微妙な気候になっているような感覚を覚える今日この頃です。 いきなり暑くなってきているので、バテないよう気をつける必要がありますね。さて、前回Apache版Stormの新機能の概要について紹介しましたが、 今…

Apache 初回リリースのStorm0.9.1のリリース内容は?

こんにちは。kimukimuです。 徐々に暖かくなってきていますね。春は目前です。さて、つい先日Apache Stormとして初リリースとなる「0.9.1-incubating」がリリースされました! #ちなみに前回リリースは「0.9.0.1」です。今回リリース内容は大きく分けて、Ap…

Storm上で動作するオンライン機械学習ライブラリをOSSとして公開しました!

id:KenichiroMurata (@muraken720)です。昨日、AcroquestはStorm上で動作するオンライン機械学習ライブラリをOSSとして公開しました! ここでも簡単に紹介させて頂きます。 AcroMUSASHI Stream-ML(Machine Learning Library) 「AcroMUSASHI Stream-ML」はS…

Storm関連本とオススメ電子書籍

新年あけましておめでとうございます。ツカノ(@snuffkin)です。 今年最初のT3ブログですね。よろしくお願いします。私はリアルタイム分散処理の仕事に携わっているため、昨年、こんな話題に興味を惹かれました。 CDHによるSparkのサポート AmazonからKinesis…

Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた

こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか? 私はケーキは買う派ではなく、自分で作る派です。……まぁ、食べるのも自分なのですが……クリスマスはさておき、今日はKinesisとStormに関する内容です。A…

Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた

こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 (Amazon Kinesis は、Stormとも連携できるようになっているようです)。さて、先日、Storm 0.9.0 が正式…

Storm0.9.0の新機能(Topology毎のログ出力)を試してみます

こんにちは。kimukimuです。 Storm0.9.0-rc系がリリースされてから正式版が出るのを待っている今日この頃ですが、 Storm0.9.0はApacheプロジェクトに入る前の最終リリースとなるということで、かなり大きなマイルストーンになりそうです。 そのため、検証の…

Storm0.9.0-rc1で何が新しくなったの?

こんにちは。kimukimuです。 最近気温の変化が激しくて、夜暑くて夏の格好で寝ると途中で寒くて目が覚める・・・ というのが普通にある今日この頃です。 皆さんもお大事に。さて、先週StormがApacheプロジェクトとなったことについて投稿しましたが、 Storm…

StormがApache Incubatorプロジェクトになりました!

こんにちは。kimukimuです。 最近台風が多かったから・・・というわけではありませんが、久々のStormのニュースです。Stormについて嬉しい発表がありました。Stormが2013/09/18にApache Incubatorプロジェクトになりました!ページも出来ています。 http://i…

最近、こんな記事を執筆しました

こんにちは。 最近、ちょくちょく雑誌やWeb媒体に記事を書く機会が増えてきた @cero_t です。ただ、あまり計画性のない僕のことですから、いつも「締め切り直前まで熟慮するメソッド」で 自分を追い込んで(追い込まれて?)います(><) なんて思いながら…

メッセージを処理する度に共通処理を行う方法は?

こんにちは。kimukimuです。 少し宣伝を。 2013年5月18日発売のSoftware Design 2013年6月号に、 「春の嵐吹く,リアルタイム分散処理Storm」という形でStormの記事が掲載されています。Stormの概要や実際に外部のプロセスと組み合わせてTopologyを動かす方…

Topologyを起動中にどこまで何が変更できるの?

こんにちは。kimukimuです。 4月になり、花粉も徐々に収まってきたので最近快適ですね! 花粉症仲間(?)の皆さまであれば同意していただけると思います。にしても、スギ花粉が何故こんなに飛んでいるのかというと、 日本の森林の3割はスギとヒノキでしめ…

StormでTopologyを素早く起動させる方法は?

こんにちは。kimukimuです。 最近花粉で駆逐される側に回っている今日この頃です。アレグラFX、ザジテン等普通に薬局で買える薬も強力なものがそろってきているんですが、 それ以上に花粉の症状がひどく、例年になく苦しんでいる状態です。 ・・・ただ、マ…

Storm簡単インストーラにStorm0.8.2対応版を追加しました!

こんにちは。kimukimuです。 Stormについてお知らせを。Storm簡単インストーラにStorm0.8.2対応版を追加しました! https://github.com/acromusashi/storm-installer https://github.com/acromusashi/storm-installer/wiki/Downloadこれでより使いやすくなっ…

StormUnitを使ってJUnitでテスト(その2

こんにちは。kimukimuです。 寒さもピークを過ぎ、徐々に暖かくなってきていると感じる日々ですね。え?まだピークのまま? ・・・寒い日々が続いているので、その辺麻痺しているのかもしれませんね^^;と、それはさておき、前回に引き続き、StormUnitを用…

Storm0.8.2公開、運用や問題解析時の便利機能が追加されました!

こんにちは。kimukimuです。 先日、Stormの最新版、0.8.2の正式版リリースが公開されました。 http://storm-project.net/2013/01/11/storm082-released.html前回のStorm0.8.1が開発を行いやすくする機能が追加されていましたが、 今回はStormUIが主に機能追…

StormUnitを使ってJUnitでテスト(その1

こんにちは。kimukimuです。 新年おめでとうございます。 今年も「Taste of Tech Topics」ブログをよろしくお願いします。では、今日のお題です。 1.JUnitでStormのコンポーネントを検証したい! 過去の機能紹介記事で触れたように、Storm0.8.1からStormのテ…

Stormって条件でBoltを分岐させることってできるの?

こんにちは。kimukimuです。 Stormの次バージョン(0.8.2)の開発を楽しみに待っていますが、 いつの間にか0.8.2の開発版のビルド番号が16まで行っていました(ーー;0.8.2はGUIもパワーアップしているので楽しみです。 ・・・そんなわけで、どこかこのあた…

Storm0.8.1公開。開発における足回りが充実しました。

こんにちは。kimukimuです。 つい先日、Stormの最新版、0.8.1の正式版リリースが公開されました。 ※Stormのダウンロードページから取得可能前回の0.7系 > 0.8系のように大きな機能の追加・・・があるわけではないのですが、 実際に開発を行う上で非常に重要…

Stormの簡単インストーラを公開しました!

こんにちは。kimukimuです。 Trident APIではありませんが、Stormについてお知らせを。Stormの簡単インストーラを公開しました! https://github.com/acromusashi/storm-installerこれまで書いてきた記事では基本的にStormは 依存パッケージをビルドしてイン…

Stormの新機能、Trident APIって何?(その3

こんにちは。kimukimuです。 前回に引き続き、Tridentを用いたコードの内容を見ていきます。前回はSpout部分の内容を確認したので、次はTridentStateの定義部ですね。 3.サンプルのコードを解読します(TridentState) まず、サンプル内での定義部は下記の通…

Stormの新機能、Trident APIって何?(その2

こんにちは。kimukimuです。 では今回は実際にTridentのサンプルをコードに落として動作を見て、 その上で内容を見ていきます。 1.まずはサンプルを動作させてみます storm-starterプロジェクトからTridentWordCountを落としてきて動かしてみます。 実際に動…

Stormの新機能、Trident APIって何?(その1

こんにちは。kimukimuです。 前回はStorm環境構築用のRPMをまとめよう・・・ と考えていましたが、Stormの0.8.0が2012/08/03に正式リリースとなり、 Trident APIという新しいAPI群が追加されちゃいました^^;なので、今回以降はTrident APIについて調べて…

StormのプロセスをDaemon化してみます(その3

こんにちは。kimukimuです。 Stormのサービス化、今日は最終的な動作確認とMonitへの登録確認を行います。 8.実際にStormは動くの? 前回Storm関連プロセスのサービス化を行ったので、 下記の2点の確認を行います。 実際にTopologyをSubmitして動くのか? S…

StormのプロセスをDaemon化してみます(その2

こんにちは。kimukimuです。 前回Stormのサービス化のためにMonitをインストールしましたので、 次は実際にStormをサービス化してみましょう。 6.Stormのサービス化に必要なファイルは? 必要なのは下記の3つです。 /etc/init.d用のサービス操作スクリプト …

StormのプロセスをDaemon化してみます(その1

こんにちは。kimukimuです。 これまでStormの関連プロセス(ZooKeeper、Nimbus、Storm UI、Supervisor)は このブログにおいては手動で起動していましたが、 それだとプロセス管理等も出来ないですし、 ログアウトした時にプロセスが落ちる・・・等といった…

Stormを簡単にインストールする方法は?(その3

こんにちは。kimukimuです。 1.動作しない原因は? 前回StormがRPMインストールを行ったクラスタでうまく動作しなかったため、原因を確認してみます。まずは前回のログを再度確認してみますと・・・ 2012-07-01 20:46:07 worker [ERROR] Error on initializa…

Stormを簡単にインストールする方法は?(その2

こんにちは。kimukimuです。 Storm0.8.0やら、実世界での用途を確認して間が空いちゃいましたが、 Stormを簡単にインストールする方法の続きを確認してみます。というわけで、前回作成したrpmの動作を確認します。 1.仮想マシンの設定 まっさらな環境にイン…

Stormってどこで実際に使われてるの?

こんにちは。kimukimuです。 今日もStormの話です。 ですが、今日は少し趣向を変えてStormが実際にどんな場所で使われているかを紹介してみます。・・・というのも、Stormって「リアルタイム分散処理フレームワーク」ではありますが、 それだけだと何ができ…

Storm0.8.0公開。何が新しくなったんでしょう?

こんにちは。kimukimuです。 つい先日、Stormの最新版、0.8.0の開発版リリースが公開されました。 ※Stormのダウンロードページから取得可能0.7→0.8・・・ということで、マイナーバージョンアップにも見えますが、 現状まだ開発中バージョン(0系)のため、実…

Stormを簡単にインストールする方法は?(その1

こんにちは。kimukimuです。 #今回はDempsyではなく、Stormです^^;最近思うこととして、 『クラスタを簡単に構築できなければ分散システムは使えない』というのがあります。 ・・・ええ、Stormの環境構築って地味に手間がかかるものでして(汗そんなわけ…

Stormデモでのコードを説明します

こんにちは。kimukimuです。3月1日にAdvanced Tech Night No.4 BigDataの次のSTEP リアルタイム分散処理のイマドキを開催しました。 その際のデモのコードを説明します。尚、どんなデモだったかについては下記のSlideを参照してください。 Twitterのリアルタ…

Twitter Stormクラスタを構築します(その2

こんにちは。kimukimuです。前回でStormの動く環境が整いましたので、 次は実際にTopologyを流してみます。 1.Topologyを流す方法は? Nimbusに対してThriftで特定のフォーマットに沿って通信を行えば、 どんな言語からでもTopologyは流せる・・・と、Storm …

Twitter Stormクラスタを構築します(その1

こんにちは。kimukimuです。何回かTwitterStormの記事を投稿してきましたが、 ローカル環境での実行ですとやはり限度があるため、 分散環境で実行可能なStormクラスタを構築して検証します。ホストやゲストのマシンスペック、OS等は以前の投稿を参照してく…

Twitter Stormのデバッグをするには?(その2

こんばんは。kimukimuです。少し間が空いてしまいましたが、 Stormのデバッグと、実際に動くソースの確認をしてみましょう。・・・Storm0.70がリリースされ、Storm-Startarプロジェクトも更新されたので、 今投稿しておかないとずれるという事情はさておきま…

Twitter Stormのデバッグをするには?(その1

こんにちは。kimukimuです。今回は前回までの流れとは少し違いますが、 Twitter Stormをデバッグする方法について書きます。というのも、HadoopやStorm系の分散プラットフォーム上でシステムを開発する場合、 処理がどこを飛び交うかが非常に難解です。なの…

Twitter Stormをインストールしてみます!(その3

こんばんは。kimukimuです。前回に引き続き、Twitter Stormのインストールを続けます。 4.Stormインストールの前提ソフトウェアのインストール(その3 Java 6 言うまでもなくJavaの実行環境ですね。 Stormはjava/clojureというJVM言語で開発されているため…

Twitter Stormをインストールしてみます!(その2

こんばんは。kimukimuです。前回に引き続き、Twitter Stormのインストール手順を書いてみます。・・・今回はあまり画面が無くて、文字ばかりになりますが、ご了承下さい^^; 3.Stormインストールの前提ソフトウェアのインストール(2 ZeroMQ 2.1.7 ZeroMQ…

Twitter Stormをインストールしてみます!(その1

こんばんは。kimukimuです。今日は以前紹介した、Twitter Stormのインストール手順をまとめてみます。公開された直後だったためにそれほど大々的な動きはなかったのですが、 最近Cassandraとの接続プロジェクト等も公開されて、 実際に使えるものになりつつ…