障害が再発し、原因共有が進まない
ネットワークや機器の障害が復旧しても、発生状況や対応内容が記録されていなければ、同じ障害が起きたときにまた一から確認することになります。
担当者ごとに確認方法や説明が異なると、以前と同じ症状なのか別の問題なのかを判断できません。また、一時的な対応だけが積み重なり、原因や未確認事項が整理されていないと、障害が再発しても有効な対策につなげにくくなります。
アーテック福岡では、障害が起きた事実、確認した内容、実施した対応、確認できた原因、未確認事項を分けて記録します。一度の障害対応をその場限りで終わらせず、次回の初動、原因確認、再発防止に活かせる状態に整えます。
よくあるつまずき
- 発生日時、場所、影響範囲が記録されていない
- 担当者ごとに確認する順番が異なる
- 実施した確認と結果が残っていない
- 一時的に復旧した理由を、原因として扱っている
- 確認できた事実と推測が混ざっている
- 暫定対応と恒久対応が分けられていない
- 設定変更や機器交換の履歴が残っていない
- 未対応事項の担当者や期限が決まっていない
- 同じ障害が起きても、過去の記録を見つけられない
整備の進め方
1.発生した事実を記録する
障害が発生したときは、次の内容を記録します。
- 発生した日時
- 発生した場所
- 影響した端末や機器
- 利用できなかった業務やサービス
- 表示されたメッセージ
- 症状が継続した時間
- 同じ症状を再現できたか
- 直前に行った設定変更や機器交換
「つながらなかった」「調子が悪かった」だけで終わらせず、後から比較できる情報を残しておきます。
2.確認した内容と結果を残す
障害対応で確認した項目を、実施した順番で記録します。
- 何を確認したのか
- 確認前はどのような状態だったのか
- どのような操作を行ったのか
- 操作後に状態が変わったのか
- 問題がなかった箇所はどこか
- 追加確認が必要な箇所はどこか
実施した作業だけでなく確認した結果も残すことで、次回に同じ確認を繰り返すことを減らせます。
3.事実・原因・推測を分ける
障害対応後は、確認できた内容を次のように分けます。
確認できた事実 実際に発生した症状や、確認作業で判明した内容です。
確認できた原因 どの確認によって原因と判断したのか、根拠もあわせて記録します。
可能性があるもの 原因の候補ではあるものの、現時点では確認できていない内容です。
未確認事項 追加調査、メーカー確認、実機確認などが必要な内容です。
原因を確定できない場合は、推測で埋めず未確認として残します。
4.暫定対応と恒久対応を分ける
業務を早く再開するために行った対応と、障害の再発を減らすための対応を分けます。
暫定対応(一時的に業務を再開するための対応)
- 機器の再起動
- 別の端末や接続方法の利用
- 変更前の設定への切り戻し
- 代替機器や代替回線の利用
恒久対応(原因や発生条件を確認したうえで行う対策)
- 機器や配線の交換
- 設定や構成の見直し
- 更新方法の変更
- 点検項目の追加
- 障害時手順の修正
暫定対応で復旧しても、恒久対応が不要とは限りません。追加対応が必要な場合は、内容、担当者、期限を記録します。
5.変更内容と確認結果を記録する
設定変更や機器交換を行った場合は、次の内容を残します。
- 変更した日時
- 変更した機器や設定
- 変更した理由
- 変更前の状態
- 変更後の確認結果
- 業務への影響
- 元の状態へ戻す方法
- 追加確認が必要な内容
変更履歴があれば、再発したときに以前の対策が有効だったかを確認できます。
6.再発時の確認手順へ反映する
障害対応後は、次回に最初から調べ直さずに済むよう、確認手順を更新します。
- 最初に確認する項目
- 同じ障害か判断する条件
- 確認する機器や設定
- 暫定対応の方法
- 連絡する相手
- 作業を止めて追加確認する条件
- 復旧後に確認する業務
記録を残すだけでなく、実際の初動手順に反映します。
7.未対応事項を管理する
障害発生時にすべてを確認できるとは限りません。追加確認が必要な場合は、次の内容を残します。
- 未確認の内容
- 確認する理由
- 担当者
- 確認期限
- 確認結果を記録する場所
- 対応しない場合の判断
未対応事項を記録し、復旧後にそのまま忘れられないようにします。
整備後に目指す状態
- 発生日時、症状、影響範囲を確認できる
- 何をどの順番で確認したか分かる
- 確認できた事実と推測が分けられている
- 原因と判断した根拠を確認できる
- 暫定対応と恒久対応が分けられている
- 設定変更や機器交換の履歴が残っている
- 未対応事項の担当者と期限が分かる
- 同じ障害が起きたとき、過去の記録を活かせる
- 担当者が変わっても、確認と対応を引き継げる
障害対応を、次回に使える記録へ
障害が復旧した直後は、通常業務へ戻すことが優先されます。しかし、発生状況や対応内容を記録しなければ、一度行った確認や判断を次回に活かせません。一時的に復旧したことと、原因が確認できたことも別の話です。
確認できた事実、原因、未確認事項、暫定対応、恒久対応を分けて残すことで、同じ障害が起きたときの初動を進めやすくなります。
アーテック福岡では、障害を復旧させるだけでなく、確認結果、判断根拠、変更履歴、再発防止の手順までを会社のIT環境整備として整えます。
なお、実際の原因や恒久対応の内容は、現在の構成と発生状況を確認したうえで判断します。