こんにちは。落合です。
Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回）
に参加してきました。関係者の方々、ありがとうございました。
Togetter： 2011/06/29_Hadoop〜座談会(第5回） #hadoopmodeling
講演内容が
「鉄道システムへの誘い」
「九州電力におけるHadoopの取り組みについて」
と、うちが関る鉄道と電力だったため、
これは参加するしかないと思い、
3名で乗りこんできました。
鉄道システムについては、
ここでしか聞けない、匿名での貴重な講演でした。
九州電力の技術的取り組みが先進的なことにも驚きましたが、
それより気になったのが、
亜希さんですね。
目が離せません！
鉄道システムへの誘い
【特徴】
開発期間：数年〜5年
規模 ：最大で10Mステップ、10k人月
特徴 ：開発工数の半分は試験。異常系の試験が多い
耐用年数：10年
ポイントとなるのは、
開発を始めてからシステムの寿命を迎えるまで、
15年もあること。
取り入れる技術やミドルウェアの選定に相当気を配るそうです。
特に商用の製品は、コスト以上に
サポートが切れないか？
を重視するそうです。
オープンソースは、最悪自分たちで直せばよい、ということなので、
まだないそうですが、Hadoopも鉄道系システムに今後取り入れられる可能性はありますね。
輸送計画（様々な条件を考慮したダイヤの作成）
運行管理（遅延に対する対処など、日々の調整）
のシステムの特徴など、コアな話を聞けました。
実は、これらを詳しく解説している書籍があるらしいです。
鉄道ファンなら読むしかない？
九州電力におけるHadoopの取り組みについて
九州電力では、部門ごとにバラバラなシステムを導入している状態。
保守コスト増大への対処のため、
OSSの検証を平成21年から実施。
平成21年
10台の物理サーバ上に110台の仮想サーバを構築し、そのうえでHadoopを動かした。
台数の増加によるスケールアウト、耐障害性の試験など、一通りを試した。
RabbitMQの検証も。
平成22年
分散に特化し、本番システムへの適用可能性を検証。
実運用データを元にしたダミーデータの処理で、
バッチ処理の大幅な性能向上が図れることを確認：
MySQLに入っているデータに対するバッチ処理に15日かかるところが、
物理サーバ2台上の10仮想OS上でMapReduceで処理して30分で完了
（現行システムでは、19時間かかっているらしい）
運用監視基盤として使っていたのが、
今のEC-Oneの製品であるMonkey Magic。
平成23年
仮想サーバの割り当てについての検証などを実施。
そしてASAKUSAの導入。
開発コストが3分の1になる見込みだとか。
面白いですね。
他の電力会社はどうなのでしょうか？
と気になったり。
ところで
先日うちのホームページで公開した、
Clouderaの"Hadoop As The Platform For The Smartgrid At TVA"日本語訳スライド、
見たと言う人が結構いました。
日本にスマートグリッドを！という考えで、広く日本の関係者に知ってもらいたいと思い、
訳させてもらったものなので、反響が大きいのはうれしいですね。
それではまた。
