弁財天

ゴフマン「専門家を信じるのではなく、自分自身で考えて判断せよ」

2200人が休日・夜間も交代勤務で4万件強の顧客データの一つ一つを打ち込んだり、電気料金を手計算するハメになるまでw update5

楽天ペイでアプリの不具合、楽天カードはQTNET(九州電力系)の電源トラブルでサービス停止…

2019年1月31日託送料金計算システムの実施計画決定(取締役会)
2019年2月4日プロジェクト設置
2019年7月~12月総合テスト実施
2019年10月~12月データ移行に関する事前検証(移行リハーサル)の実施
2019年12月27日
~2020年1月3日
運用開始の判定、データ移行、システム切替え
2020年1月8日事案①及び②が発生。原因分析を開始
2020年1月9日【原因1】託送料金計算システム内での、一部データの欠測及びデータ間の紐づけの不備が原因
【原因2】データ移行に使用した移行プログラムの一部に誤りがあることを確認
2020年1月10日
~現在
データ不備について、移行すべきデータを確認し、使用量算定処理によるデータ取込みを実施したが、状況はあまり改善せず、託送料金計算システムの処理が大幅に遅延(事案③の拡大等につながった)
2020年1月18日【原因3】使用量算定機能(プログラム)にデータを滞留させるバグ※1件でも処理不能データが存在すると、処理データ全体を取り込まない設定
2020年1月24日算出誤りと誤請求、誤支払いが判明。データ処理量が多かったこと、移行後の処理が輻輳で想定外のリソース不足(サーバのメモリ容量不足)が発生。バッチ処理が異常終了して日次使用量の一部に誤ったデータ(0kWh)登録。0kWhデータを使用して後続の月間使用量算定バッチ処理を実行したため、月間使用量が過少となり、誤った料金計算を実施(販売、購入ともに同事象)←バッチが異常終了したのに後続バッチを起動w。ジョブネットもなければ、ログの確認もしてないのかw
2020年2月4日2月3日検針の大口・高圧契約において、約10,000件(確認中)のお客さまで検針データの一部欠測が判明。

2カ月続く九電システム障害の全容判明、引き金・真因・開発ベンダーは 山根 小雪 日経エネルギーNext 2020.03.06
 九州電力が引き起こした大規模なシステム障害が長期化している。2020年4月に控える発送電分離に伴う分社に向けて、2つの料金関連システムを刷新した際に生じた不具合が原因だ。2020年1月8日にシステム障害が判明してから、間もなく2カ月。98万超の顧客の料金計算に影響が及ぶ大規模トラブルは4月までに収束できるか。
九州電力本店
重荷となる膨大な「例外処理」
 「九電は4月までに収束させると表明しているが、相当難しいのではないか」。ある電力関係者はこう指摘する。別の関係者は「まだ出口が見えない」と九電内で進む障害復旧の現状を明かす。
 九電はシステム障害の対応状況を随時公開しており、最新の2020年3月3日公表文書によると、電気料金の請求金額を確定できないトラブルに巻き込まれた98万超の顧客のうち、7割に当たる約69万2000件については対応を完了したという。だが、依然として残り3割、28万8000件はトラブルが解消していない。
 九電が抱える需要家(顧客)は約800万件に上る。単純計算で1日当たり、約40万件のメーター値を処理し、各種料金を算出している。
 電力業界ではよく知られた話だが、電気料金の計算には膨大な「例外」がつきものだ。例えば料金未払いで電力の供給が止まっていても電球1つ分の電気を供給する「1Aブレーカー」、原子力発電所の立地地域に支払われる「原子力立地交付金」、鉄塔による電波障害などへの補償費――。他にも多種多様な例外が存在し、これらを全て反映して料金を計算しなければならない。
 「膨大な例外が存在するのは、公益性を求められ、どんな場合であっても常に公平でなければならないという考え方が電力事業の根底にあるためだ」と電力関係者は説明する。膨大な顧客数、そして膨大な例外――。電力料金の計算システムの刷新にはこれらが重くのしかかる。九電もまさに「例外」ではない。

システム刷新は不可避だった
 九電がシステム刷新に臨んだ理由は、東日本大震災後に始まった電力システム改革の最終段階として2020年4月に実施する発送電分離に対応するためだ。
 大手電力各社は長年、「発電」「送配電」「小売」の3部門を垂直統合して会社を運営してきた。発電部門が発電した電気を、送配電部門が鉄塔や電線を組み合わせた送配電網である「系統」を使って、小売部門が開拓した需要家に届けるという具合だ。
 発送電分離は、大手電力会社の送配電部門の法的分離を意味する。具体的には送配電部門を別会社にするというものだ。

kyuden.co.jp→託送料金計算システムの障害に伴う自社需要家に対する電気料金 請求書送付遅延及び小売電気事業者への誤請求等について(報告)PDF(令和2年2月6日)

九州電力料金算定のシステム障害、いまだ復旧せず 影響68万件まで拡大 毎日新聞2020年2月13日 07時15分(最終更新 2月13日 08時30分)
九州電力本店が入る電気ビル=福岡市中央区で、野田武撮影
 九州電力で1月8日に起きた料金算定のシステム障害がいまだ復旧せず、電気料金の請求の遅れなどの影響は約68万件まで拡大した。事前のテスト不足に加え、複数の障害が重なったことが背景にある。九電は3月までにシステムを復旧させるとしているが、復旧の遅れに批判の声が出ている。
 今回の問題の原因となったのが、電力会社が持つ送配電網の利用料である託送料金を計算するシステムだ。電力自由化の一環で4月に送配電部門を分社化するのに伴い、システムを新会社に移行する作業を実施した直後に障害が発生した。プログラムの異常で契約者のデータの一部を新システムに移行できなかったことから、電力使用量の検針データを処理することができなくなり、電気料金も確定できなくなった。
 1月14日に、電気料金の請求遅れを中心に最大約10万6000件の影響が出ると発表。さらにその後、システム内の別のプログラムにも不備が見つかり、1月21日に影響は約46万件まで拡大し、2月6日には68万件まで膨らんだ。当初は1月中に復旧させる見通しを示していたが、完全復旧は3月までずれ込むことが確実となった。九電は過去の電気料金請求を基に暫定的な料金を請求し、システム復旧後に過不足を精算することにしている。
 梶山弘志経済産業相は10日の記者会見で、「3月をめどに対応を完了すると報告を受けているが、私の感覚ではやっぱり遅い。しっかりと対応していただきたい」と、九電のシステム障害の長期化に苦言を呈した。
 九電は今回のシステム移行にあたり、移行の対象となる約800万件のデータのうち、約2割に当たる約160万件のデータを使い、400のケースを想定してテストを実施したという。しかし、事業の責任者である能見和司常務執行役員は「見通しの甘さがあり、テストも含め大いに反省すべき点があった」と、テストが不十分だったことを認めた。また、システム開発を委託した外部業者との情報共有がうまくいかず、「プログラムの間違いを見つけられる体制になかった」という。
 能見氏は「データの99%は正常に処理できるようになった」と事態が収束に向かっていることを強調したが、原因が特定できない新たな障害も小規模ながら発生しており、依然として不安定な状況が続いている。【高橋慶浩】
データ移行プログラムのバグ?w

九電システム、トラブル連鎖 データ移行テスト甘く障害68万件に 2020/2/11 6:00 (2020/2/12 9:53 更新) 西日本新聞 社会面 井崎 圭 吉田 修平
システム障害の長期化を受け、記者会見で謝罪する九州電力の幹部=6日、福岡市
 1月上旬に起きた九州電力の業務系システムの障害は、発生から約1カ月が過ぎ影響は約68万件(5日現在)に拡大した。4月に控える送配電部門の分社化に対応する新システムの構築過程で、事前のテストに甘さがあったり、九電と複数のソフト開発会社の連携が不足したりしていたことが背景にある。復旧途上で新たなトラブルが判明する悪循環にも陥っている。
 九電によると、発端は年末年始に変更した託送料金(送電線使用料)の計算システムだった。1月8日に新たなシステムに顧客データを取り込んだ際、プログラムの誤りから一部が移行できなかった。その不備を発端に、システムの一部が機能不全に陥ったという。
 顧客への影響は当初、電気料金の請求書、購買電力料金の送付遅れだったが、その後、料金の過少請求や個人情報の誤通知も判明。1月分の正しい料金が請求できず、昨年12月の暫定料金を請求する顧客は47万件(5日現在)を超える。
 今回のデータ移行の対象は約800万件。九電は昨年9~12月、約2割に当たる160万件のデータで400のケースを想定してシステムの検証を行ったという。それでも、トラブルが相次ぐ現状に、担当者は「十分な確認を行ったつもりだったが、いま思えばテストが不足し、点検に漏れがあった」と認める。
 膨大なデータ処理を伴う大規模なシステム変更であるため、複数のソフト開発業者が関わっているが、九電と業者の連携にも課題があったという。九電幹部は「互いの持つ情報を共有できていない部分があった。統括する立場として不備が見つけられる体制になかった」と自戒を込めて言う。
 現在、協力会社も含め2200人が休日・夜間も交代勤務で復旧に当たる。1月下旬にシステム改修はほぼ完了したとするが、システムから漏れた4万件強の顧客データの一つ一つを打ち込んだり、電気料金を手計算して発送したりする作業にも時間を要している。
 九電幹部は「顧客や新電力、関係者に迷惑をかけている。3月までには完全復旧し、4月の分社化に影響がないようにしたい」としている。 (井崎圭)

「対応が遅い」経産相が苦言
 九州電力で大規模な業務系システム障害が発生している問題を巡り、梶山弘志経済産業相は10日の閣議後の記者会見で「私の感覚では(九電の対応が)遅い。もっと早く対応しなくちゃいけない」と述べ、復旧に時間がかかっている九電の現状に苦言を呈した。
 梶山氏は、3月をめどに復旧対応を完了すると九電から報告を受けているとした上で「いかに早く復旧させるかも安心、安全、企業の信頼につながる。しっかりと対応してほしい」と強調。国として「一刻も早い事態収拾のため、指導を行っていきたい」と話した。 (吉田修平)

「現在、協力会社も含め2200人が休日・夜間も交代勤務で復旧に当たる。1月下旬にシステム改修はほぼ完了したとするが、システムから漏れた4万件強の顧客データの一つ一つを打ち込んだり、電気料金を手計算して発送したりする作業にも時間を要している。」w

いったいどんな失敗をすると2200人が24時間体制で4万件強を手入力するハメになるのか?w 移行元のデータを消去してしまったのか?w

24時間帯制で手入力する2200人から過労死する者がでることを期待してる?


データを間違って紐付けしたとか…。それが本当だとしても紐付けプログラムを修正してリランする話で、4万件を2200人体制で手入力することにはならないのでは?w

なんか変…。いったい九電は何やっちゃったんでしょーな?w

九州電力で8万件の料金請求遅延、旧システムからのデータ移行に不具合 清嶋 直樹 日経 xTECH/日経コンピュータ 2020.01.15
 九州電力は2020年1月14日、システム障害のために料金請求の遅延や誤請求が発生していると発表した。1月15日午後時点で復旧しておらず、「復旧のメドは立っていない」(広報)としている。現時点で最大8万3870件の電力料金を請求できないなどの影響が出ている。復旧に手間取った場合、さらに影響が拡大する可能性があるという。

九州電力のシステム障害の原因 (出所:九州電力) [画像のクリックで拡大表示]
 九州電力によれば、2020年4月に予定する発送電事業の分社化に向けて、年末年始にシステムの移行作業を実施し、2020年1月に新システムを稼働させた。新システムのうち、住宅などに設置した計量器の検針結果を基に電気使用量を計算する新しい「託送料金計算システム」で障害が発生した。
 新システムで最初に計算処理を実行したのが1月8日だったが、使用量を正しく計算できないケースが多発していることが判明し、システムの利用を停止した。使用量の計算には、旧システムから移行した12月の検針結果データと、新システムに入力した1月の検針結果データが必要だが、移行プログラムに不具合があり、正しく計算できないケースが出たという。
 検針結果データが膨大にあるため、九州電力は全データではなく、想定されるパターンを網羅した一部データを使って移行テストを実施していた。このテストで想定漏れがあり、実データを使った移行で異常が発生した。例えば移行プログラムで検針値の桁数変更が正しく処理されず、実際の10分の1の数値に変わって移行されるケースがあったという。
小数点の移行ミスなら修正して再計算するだけだったはずw

投稿されたコメント:

コメント
コメントは無効になっています。