読者です 読者をやめる 読者になる 読者になる

Taste of Tech Topics

Acroquest Technology株式会社のエンジニアが書く技術ブログ

Hadoop座談会(第5回)に参加しました

Hadoop

こんにちは。落合です。

Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回)
に参加してきました。関係者の方々、ありがとうございました。
Togetter: 2011/06/29_Hadoop〜座談会(第5回) #hadoopmodeling


講演内容が
「鉄道システムへの誘い」
九州電力におけるHadoopの取り組みについて」

と、うちが関る鉄道と電力だったため、
これは参加するしかないと思い、
3名で乗りこんできました。

鉄道システムについては、
ここでしか聞けない、匿名での貴重な講演でした。

九州電力の技術的取り組みが先進的なことにも驚きましたが、
それより気になったのが、
亜希さんですね。

目が離せません!

鉄道システムへの誘い

【特徴】
開発期間:数年〜5年
規模  :最大で10Mステップ、10k人月
特徴  :開発工数の半分は試験。異常系の試験が多い
耐用年数:10年

ポイントとなるのは、
開発を始めてからシステムの寿命を迎えるまで、
15年もあること。

取り入れる技術やミドルウェアの選定に相当気を配るそうです。

特に商用の製品は、コスト以上に
 サポートが切れないか?
を重視するそうです。

オープンソースは、最悪自分たちで直せばよい、ということなので、
まだないそうですが、Hadoopも鉄道系システムに今後取り入れられる可能性はありますね。


 輸送計画(様々な条件を考慮したダイヤの作成)
 運行管理(遅延に対する対処など、日々の調整)
のシステムの特徴など、コアな話を聞けました。

実は、これらを詳しく解説している書籍があるらしいです。
鉄道ファンなら読むしかない?

九州電力におけるHadoopの取り組みについて

九州電力では、部門ごとにバラバラなシステムを導入している状態。
保守コスト増大への対処のため、
OSSの検証を平成21年から実施。

平成21年
 10台の物理サーバ上に110台の仮想サーバを構築し、そのうえでHadoopを動かした。
 台数の増加によるスケールアウト、耐障害性の試験など、一通りを試した。
 RabbitMQの検証も。

平成22年
 分散に特化し、本番システムへの適用可能性を検証。
 実運用データを元にしたダミーデータの処理で、
 バッチ処理の大幅な性能向上が図れることを確認:
  MySQLに入っているデータに対するバッチ処理に15日かかるところが、
  物理サーバ2台上の10仮想OS上でMapReduceで処理して30分で完了
  (現行システムでは、19時間かかっているらしい)

 運用監視基盤として使っていたのが、
 今のEC-Oneの製品であるMonkey Magic。

平成23年
 仮想サーバの割り当てについての検証などを実施。
 そしてASAKUSAの導入。
 開発コストが3分の1になる見込みだとか。

面白いですね。
他の電力会社はどうなのでしょうか?
と気になったり。

ところで

先日うちのホームページで公開した、
Clouderaの"Hadoop As The Platform For The Smartgrid At TVA"日本語訳スライド
見たと言う人が結構いました。

日本にスマートグリッドを!という考えで、広く日本の関係者に知ってもらいたいと思い、
訳させてもらったものなので、反響が大きいのはうれしいですね。

それではまた。

広告を非表示にする