こんにちは。落合です。
Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回)
に参加してきました。関係者の方々、ありがとうございました。
Togetter: 2011/06/29_Hadoop〜座談会(第5回) #hadoopmodeling
講演内容が
「鉄道システムへの誘い」
「九州電力におけるHadoopの取り組みについて」
と、うちが関る鉄道と電力だったため、
これは参加するしかないと思い、
3名で乗りこんできました。
鉄道システムについては、
ここでしか聞けない、匿名での貴重な講演でした。
九州電力の技術的取り組みが先進的なことにも驚きましたが、
それより気になったのが、
亜希さんですね。
目が離せません!
鉄道システムへの誘い
【特徴】
開発期間:数年〜5年
規模 :最大で10Mステップ、10k人月
特徴 :開発工数の半分は試験。異常系の試験が多い
耐用年数:10年
ポイントとなるのは、
開発を始めてからシステムの寿命を迎えるまで、
15年もあること。
取り入れる技術やミドルウェアの選定に相当気を配るそうです。
特に商用の製品は、コスト以上に
サポートが切れないか?
を重視するそうです。
オープンソースは、最悪自分たちで直せばよい、ということなので、
まだないそうですが、Hadoopも鉄道系システムに今後取り入れられる可能性はありますね。
輸送計画(様々な条件を考慮したダイヤの作成)
運行管理(遅延に対する対処など、日々の調整)
のシステムの特徴など、コアな話を聞けました。
実は、これらを詳しく解説している書籍があるらしいです。
鉄道ファンなら読むしかない?
九州電力におけるHadoopの取り組みについて
九州電力では、部門ごとにバラバラなシステムを導入している状態。
保守コスト増大への対処のため、
OSSの検証を平成21年から実施。
平成21年
10台の物理サーバ上に110台の仮想サーバを構築し、そのうえでHadoopを動かした。
台数の増加によるスケールアウト、耐障害性の試験など、一通りを試した。
RabbitMQの検証も。
平成22年
分散に特化し、本番システムへの適用可能性を検証。
実運用データを元にしたダミーデータの処理で、
バッチ処理の大幅な性能向上が図れることを確認:
MySQLに入っているデータに対するバッチ処理に15日かかるところが、
物理サーバ2台上の10仮想OS上でMapReduceで処理して30分で完了
(現行システムでは、19時間かかっているらしい)
運用監視基盤として使っていたのが、
今のEC-Oneの製品であるMonkey Magic。
平成23年
仮想サーバの割り当てについての検証などを実施。
そしてASAKUSAの導入。
開発コストが3分の1になる見込みだとか。
面白いですね。
他の電力会社はどうなのでしょうか?
と気になったり。
ところで
先日うちのホームページで公開した、
Clouderaの"Hadoop As The Platform For The Smartgrid At TVA"日本語訳スライド、
見たと言う人が結構いました。
日本にスマートグリッドを!という考えで、広く日本の関係者に知ってもらいたいと思い、
訳させてもらったものなので、反響が大きいのはうれしいですね。
それではまた。