北海道胆振東部地震(2018'9/6)の記録

2018/09/06 03:08
- シャワー浴びる前にＰＣを見ていると変な音が鳴った！、あーこれＪアラートの音ですわ。
- Ｊ−アラートから数秒で停電発生、
- スマホのアラート内容を確認したところ地震警報
- さらに数秒後に地震到着！
- うちの近辺は震度３〜４程度だったので拍子抜け
2018/09/06 03:15
- ちょっと停電の起き方が気になったので調査開始
- かなり広範囲で停電が発生していることを確認
- ＜とりあえづシャワー浴びながら今後の活動を検討＞
- 上がったらサーバーが落ちてた・・・バッテリー弱すぎ
2018/09/06 03:30
- 会社に出頭、当初計画として２４時間程度の停電予想を進言
- 社内の動作確認のため、急遽配線経路の変更や端末の移動
- 各顧客との回線確認
- データセンター内の業務サーバーの動作確認
- 顧客先機器の動作をリモートで確認
2018/09/06 06:30
- データセンターの自家発電用の重油残量が不明確なことから販売店に補給要請
- 一旦、落ち着いたところでとある問題が発覚・・・社員の連絡先がわからない！？
- 社内インフラは電源喪失のためOA端末は全滅、あたりまえですがねｗ
- サーバーは当然生きてるのでサーバールームでグループウェアを直接閲覧できるように準備
- 業務SEからファイルサーバーの内容も必要とのことでファイルサーバで直接見れるようにした
2018/09/06 07:30
- 不急な職員は自宅待機命令発令、当然私は帰れるわけがないorz
※ここまでとここから午前中は顧客対応が立て込んでいる状況だったけどそっちに関しては割愛。
2018/09/06 10:00
- 重油補給到着♪、さすがです。
- うちは近隣自治体業務を預かってるため、病院に次いで優先度高めらしい。※実際の優先度は不明
- 重油がおなかいっぱいで一安心？！、これで少なくとも３０時間は安泰です。
2018/09/06 12:00
- とりあえづお昼休み、当然お店全滅のため家に帰ってカップラーメンくらいしか用意できない。
- うちはガスが使えるのでまぁ時間さえあれば調理は可能だけど問題はトラブル対応で時間がない
2018/09/06 13:00
- 午前中までと同じ感じだけどデータセンター２Fのコンソール室のインフラ復旧のため電源調達
- といっても監視用カメラの電源からドラムで拝借して最低限の端末だけ起動して使えるようにしただけ。
- 電源容量の問題があるためサーバールーム（１F)から１本引くことにした。
2018/09/06 14:00
- 信販系チームから日時バックアップを取らないとデータ喪失の危険ありとかなんとか・・・
- CT装置を起動したいのでどうにかならないかと相談があったため調査開始
- タンスみたいな大型CTライブラリは200Vのため、自家発電じゃそもそも無理！、
- ツインドライブの小型…といってもドラム缶くらいの大きさはある奴を復旧させるためがんばった
- コンソール室での電力量が増えてきたため、電源系統の見直し
2018/09/06 15:30
- 今後の体制や対応方針について一旦集合してミーティング、２４時間体制で対応＆待機する
2018/09/06 16:30
- 少し落ち着いてきたため、先に一旦帰宅していたグループマネージャに状況を報告
- 再出勤のグループマネージャに引き継ぎつつ社内の細かい要望を可能な限り聞き出して対応実施
2018/09/06 17:30
- 一旦帰宅、もう一度来ることになるのは高確率で予想されるので落ち着いている間に逃げておいたっ
- 帰る前に車検終わっていたので車をとりにちょっとドライブ。
- 信号全滅なので怖いのなんのって。。。
- 通常の信号のない交差点はいつもどおり優先順位に沿って運転するのは変わらない。
- しかし、信号交差点で信号が死んでいる状況では双方向一時停止で先行優先である。
- でも地元の土人たちは大きい通り優先と勘違いして信号交差点で先行して進入している車を
- 無視して突っ込んでいく阿呆ばかりである。。。この状況なので警察に取り締まれというのは無理っですが
- ９割以上がそういう運転をする交通ルールをわからないで運転しているとしか思えない様が見て取れる。
- コワイコワイ。。。
2018/09/06 18:30
- 自宅で食事を取って・・・することがないので（自家発電で冷蔵庫の内容物を保護のはずが）TV見てました。
- 発電機がうるさいので７時には落として電池で動く室内灯のみになった。どうせ夜呼ばれるし寝ておこうかな
2018/09/06 20:30
- 暑苦しくて寝てられないし汗かいて気持ち悪かったのでシャワー。
- ・・・水しか出ないんでしたorz
2018/09/06 21:30
- 苦労して体だけ洗って上がるとスマホがなにやら？、見ると会社から連絡があったみたい。
- 確認したらCMSに接続できない＋公開サーバに外からアクセスできない！？
2018/09/06 22:30
- また出勤、まー予想通りなので今更感いっぱいであるのです。
- 対応していた人間に内容を確認しつつ、私も加わって対応作業に入るも難航する。
- 問題の顧客先は電算室が停電で落ちていたので朝方の早い時間からネットワークだけ発電機で運用してもらっていた。
- ただし、公開系は別フロアに機器があり（うちの管轄じゃないため認識からもれていた）この機器が落ちた。
- UPSはついていたようで、バッテリが切れるまで存在を忘れられていた不遇のネットワーク機器である。
- 電源供給する機材が不足しており回復は困難との申し出が顧客よりあったため社内で検討。
- うちは電気も優先して復旧してもらっているため21時くらいには一部は回復していた。
- このため、コンソール室を稼動している電源ドラムが２つ不要となり機材の目処はついた。
- 社内検討の結果、朝から対応に動くことで決定した。当然私が持って行かれることになった・・・
2018/09/06 23:30
- 明日は早いので帰宅して就寝。明かりもない、音もない、虫の声しか聞こえない。星空キレー
2018/09/07 04:30
- 出勤！…orz
- ５時前に出発して行ったけど信号は５割くらい回復、街頭は商業施設のある区画を優先してるっぽい？
- 現地着６時、ちょっと早すぎたけどさすがお役所、災害時は人（職員）いっぱいいるいるｗｗｗ
- 夜中に電源が一部回復していたようで昨日と状況が変わった。主に電源接続を戻す作業でおわりかな？
- 余談ですがデータセンターの停電中、自家発電で毎時170リットルの重油が消えていたんだそうな…ひえぇぇ。
2018/09/07 10:30
- うちの会社との間は問題なくつながっていたし、インターネット系（自治体クラウド）もそこにある機器だけで回復
- ただしLGWANがどうにも繋がらない…通信パケットが出口の機器と１つ手前のところで往復してて外に出れない
- 回線接続が喪失しているときの状況と似ているがうちははるか手前までが担当で、そこは本来は知らない場所っ
- なので建前だけでも顧客担当から連絡してもらって調査依頼。
2018/09/07 11:30
- 回線が直るまで何もできないので早めに食事、１つだけ残ってるけどここまでは順調だったのですっ…ここまでは
2018/09/07 12:10
- 顧客のネットワークがお亡くなりになったと会社から連絡が入った。
- は！？・・・と思いつつ内容を聞くとアナログの電話回線すらも不通になってるらしい…いやーな予感しかしないｗ
2018/09/07 12:20
- 顧客先に急いで戻って状況を見てみる…
- 外線電話が死亡、ネットワークはうちの会社とのライン2本とも死亡、LGWANはまだ復旧してない、インターネットも死亡
2018/09/07 13:00
- まずは業務系が困るので会社とのラインを確認するもLGWANと同じでVPNのセッションが喪失。
- 機器は一通り再起動かけるも復旧できず、会社側からログを確認してもらうとLGWANと同じくパケットが出口で往復
- NTTに回線状態を確認してもらったところ、地域の収容局の機材がバッテリ残量不足でダウンしたとのこと。
- 回復しつつあるこの状況でダウンっすか…まじですか…そうですか…。
- 当然ですがここだけの話ではなく全道的に発生し始めていたわけでNTTも対応に追われていて復旧のめどは不明だが順次対応中とのこと
2018/09/07 14:30
- 会社にも情報として通知した。
- 後から聞いた話ではその情報を元に他の顧客にも警鐘をしていたところ１０分もしないで次々と各地でネットワークダウンが発生。
2018/09/07 15:30
- 業務サーバと顧客端末が物理切断されているため、代替手段の検討。
- というかダウンリカバリサーバはこういうときのためにある、ってことで住基系はデータが少し古いけどこれでがんばるしかない
2018/09/07 16:30
- これからの懸念と検討を顧客担当とご相談。
- 電源が不安定でほくでんの電力は当面あてにしないほうがいい。
- 回線の復旧を優先してもほくでんの影響で再発する可能性が非常に高い。
- 既存の一部の機器に起動障害が起きる可能性があり予備機の準備をしておく必要がある
- などなど１時間くらい立ち話ですがいろいろ打ち合わせてから帰ることにした。
2018/09/07 17:30
- 印刷できないといわれて見に行くとIPが取得できていなかった。
- ふと思い起こしてみると、うちの会社繋がってないのでDHCP死んでますｗｗｗ
- その旨説明して固定IPにして回避できること、この先他の端末も同様の事態になることを説明しましたが、他の端末から印刷するのでよいそうな。
- ・・・いいっていうからそれ以上は手を引いたけど他の端末も同じ事態になるのにどうやって印刷するんですかね？
2018/09/07 18:30
- 会社で簡単に説明とお片付けをして撤収、もう疲れました。おうちにかえるぅ。。。
- おうちに帰ると電気が回復してたので、今度はおうちのインフラ復旧作業でございます。
- この公開サーバも自宅にありますので再開したのはこの後、ってことですね！
2018/09/08 04:30
- 体が気持ち悪いのでシャワーしゃわわぁ。
- 帰ってきてから事の顛末をちまちま書いていたらこんな時間ですよ？
- とはいえ、NTTが大規模障害から復帰できていませんので今日もどうなるかわかりません。
2018/09/08 06:00
- とりあえづ午前中は洗濯をします！
- あとはアニメ見ます！、違法だと言われてもこんな状況じゃDLサイトなどから漁って来る以外に見れないじゃないですか・・・
- 今回の災害被災に限って、どうにかアニメ視聴の環境を提供しようかとか検討中です。
- 記事にした通り、私も被災した側で停電の影響はありますのですぐにとはいかないと思いますが・・・。
- ※回線は使えているものの、速度が遅くて今のままでの配信は無理なのです。外だしはできますがそれも含めて検討中。。。
2018/09/08 06:15
- 朝ごはんを確保するため、台所に向かう。。。戦利品：バナナ１本＋ジュース１本
- 本業の方で労働時間で１６時間／日、拘束時間では１８時間／日くらいはあったので結構つかれてます。さすがにね・・・
- 電気が戻った＝復旧したわけではないので間違えないでください。
- 今後も計画停電が２時間／日で予定されています。停止できない環境に対する対策も必要です。
- 電力的にも不安定な期間がしばらく続きますのでUPSを含めて精密な電子機器にとっては誤動作の原因となります。
- 対策しなきゃならないことが山積みなので一旦仮眠してからまた考えることにします。
- おやすみなさーい。
2018/09/08 15:00
- 他の自治体で回線回復の記事を発見、会社に出て状況の確認を開始。
- ついでに停電対応で手を加えた社内のアレコレを戻した。月曜じゃみんな使いだしてもどせないですからね！
- まだ某Ｔ町の回線は復旧していない？・・・データセンター側のONUを再起動してみよう。
- 自治体-データセンター間の回線は復旧したので各業務系サービスは9割方復旧できたと判断。
- ただしＬＧＷＡＮとインターネット系（自治体クラウド）はまだ復旧せず。。。自治体側ONUも再起動してもらったけど残念…。
- とりあえづ顧客担当者と調整及び明日の作戦会議を済ませて19時には一旦撤収。
2018/09/08 23:50
- 自治体のＨＰを監視していたところ閲覧可能になったのを確認したので再度出社。
- リモートで自治体端末にログインして動作確認。
- インターネット閲覧ＯＫ、これでＣＭＳも内部からの閲覧もＯＫでインターネット系は復旧したっぽい。
- 続いてＬＧＷＡＮ系の確認。サイト閲覧は問題なく行けるのでこっちもＯＫっぽい。
- まずは回復連絡をマネージャにメール。
2018/09/09 01:15
- 引き続きメールサーバの動作確認。といってもインターネットメールの送受信はログを見ればわかるのでログ収集。
- ＬＧＷＡＮメールも同様にログを収集、こちらはそもそもテストアカウントを知らないのでログしか確認手段がない。
- インターネットメールは23時11分からスパムメールが着信したのを確認。
- こういう時はスパムメールでも役に立つものである（笑）
- 続いてＬＧＷＡＮでも確認していたが自治体間ネットワークはさすがにメールのやり取りが確認できない。
- 一応メールサーバにログインして名前解決や疎通確認は行ったものの、確実とは言えないか・・・
- まぁそれでもＬＧＷＡＮネットワークそのものは復旧したと判断できるのでそれ以外のトラブルがあれば改めて対処かな。
- ９日にほくでん打ち合わせで上司が訪問することになったので、その時にでもお客様自身でメールの確認をしてもらおう。
- 2時くらいにはもう元気がなかったので諦めて撤収することにした。
- 信販系でこんな時間なのにＳＥが出ていたのが気にはなるが付き合う余力はないので見捨てて帰宅（笑）
- シャワー浴びて寝ます。
2018/09/09 07:00
- 現地打ち合わせに入るならと事前に状態を再確認にいってきました。
- 結果的にはまだ変化なし…う〜む、もう少し粘ってみるかな…すっきりしないしこういう時はいつも後から問題が起きる
2018/09/09 08:45
- 案の定、ＬＧＷＡＮメールの確認ができずに連絡がきた。きましたっ！！
- ＬＧＷＡＮネットワーク上なので電算担当にお願いしてどこかとメールの送受信をお願いしました。
- メールログでも全然送受信してる形跡が見られなくて変だな〜と思っていたけど…送信できて受信ができない！？
- 先方の組織は復旧後にあちこちと送受信しているそうなのでメールサーバまでのどこかがおかしいなぁ
- メールクライアントはグループウェアでそっちには送信ログは出てるけど受信ログは皆無、とりあえづ調査継続
- maillog上でも受信ログが全然でない…先方は送ったというのに拒否した形跡すらない…。メールサーバおかしい？
2018/09/09 10:05
- 電算担当から電話があったのでついでにメールサーバ再起動を伝えて5分くらい待ってもらったところ、大量に受信開始♪
- メールサーバ起動してからずっと回線障害が起きていたので何かおかしくなっていたのかもね…
- グループウェアはメールサーバが相手なのでそういう心配は無いだろうと判断してそのままにしました。
- ＬＧＷＡＮメールが復旧してくれたので一応、すべての機能が回復しました。
- 11時に後片付けを済ませて帰宅。おなかすいたー朝ごはん！！