# スポンサーサイト
2014.03.11 Tuesday
一定期間更新がないため広告を表示しています
| - | - | | category: - |
# 障害で始まる一週間
2010.10.16 Saturday
12日、筑波山に登った翌朝、筋肉痛でけだるく出勤すると、
奇跡なほど最も小さなおじさんが短い両手を振って私に話しかけてくる。
「トラブってるよ。おたくのサーバだけ、50分前倒しで業務開始してる」
ちーーん
あまりに体がぐったりしているからチョコラBBを買ってドーピングしようとしてたのに
できなくて、サーバのほうへ。
なぜ通り過ぎるときに気付かなかったのかというくらい、人だらけ。あぁ、これは障害だ。
障害対応ルームに入ると、偉い人がずーん。
入れる空気ではないので、ひとまず外に出る（システム維持管理担当なのに
）。
状況を把握して、ベンダさんに指示する事を決め、ひたすら運用資料と格闘。
11:00、遅れ具合を確認して打合せするからと呼ばれる。
3時間でハード交換できるという話から一転、ダメだったときに備えて５〜６時間かかると。
当初考えてた復旧までのシナリオが崩れ、全部のパターンを洗い出すことに。
そこでインフラの偉い人が大暴走。皆、無言になる。
わたしたちは自分のシステムの運用や仕様を調べないといけない羽目になって、
調べて14:00までに持ち帰ることになって。
ごはんを食べたら休まずに戻るという忙しさ。
14:00、リーダーがまとめた資料を持って、再び打ち合わせ。
参加者多すぎ・・・
資料が足りなくて、新人が増刷に走る。私の後ろには某社のエンジニア３人がずーん。
5〜6時間の作業が終わったあとに動く処理を確認。
23:30にあるから、それに間に合うには、23:00めどに起動完了（当初のパターン）
それに間に合わなかったら、次は1:00に動くんだけど、
処理的には、電源ONすると、1:00の処理でまた起動しようとするから
もはや23:30までに終わらないなら1:00を過ぎてから起動開始（パターン�◆�
その起動でまだダメだったら、最悪のパターン、切替え（パターン��）。
というところまで話が進み。
でもハード障害なんだから�，��△覆鵑任靴腓隼廚辰討呂い襪發里痢�
��になったら体制どうすんのってのも考えないといけず（とくに管理職）、大変。
いったん帰ってシャワー浴びて・・と言い出す始末。
いろいろ感じたのは、「とにかく絶対に安全なほうに倒れる」ということ。
わからないから23:00から1:00までに起動しないっていうのはいかにもうちのリーダー。
二重起動になったらスキップする仕様になってるはずだから、
それを確認すればいくらでもやってくれていいのに。
そういうことはしない。うちのリーダー。絶対に安全なほうへ行く。
安全なほうへ、安全なほうへ。見積り時間は過大になっていく。
私が「これくらいかな」と思う時間が30分だとすると、上司たちは1時間取るんだ。
うしろに座っていた某社のエンジニアたちは障害のとき限定の顔見知り。
ここの手順持ってるのかな、とかぶつぶつ言ってるから、振り返って久々に会話。
「ありません」とか「あります」とか、
「この時間帯にcron仕込んでたらわからない」とかいうから「仕込んでません」と言ったり。
5〜6時間の作業後に「確認作業」をすることになってるけど、
「あの確認も含めて5〜6時間だよね」とかブツブツ言ってるから、
「入ってるんですか？じゃあ言ってくださいよ！！」と叱ってみたり。
某社の３人が笑っていた。笑ってないで、言え。でも笑顔がみんなかわいかった。
（１人はどんどんお腹が大きくなっていく中年のおっさんなんだが、好き。）
あげく、話がまとまりかけてるところで、「こうしたほうがよくね？」とか言ってるから、
「はい！？なんですか！？（よりよいプランがあるなら言え）」
というと、そう言い合ってる２人じゃないもう１人のパーマ男が「なしで！
」と言って
「はい、なしで」とまとまったり（残りの２人はクスクス笑ってた）。
打合せが解散したあとは、電源停止／起動手順を擦り合わせ。
パッケージ下げて、クラスタ下げたうえで正サーバだけ電源オフすること考えてるという。
でもそこは私が安全なほうに行く。
「いえ、オペマニにある実績ある手順で。」みんなそう思ってるよ。
副から起動する手順はあるのかという話もして、某社の３人組が「昔作った」というから、
お願いだからくれと言い、ファイルで欲しいと言い、メールを知らないと言い、
ファイルサーバのパスを教える。照会用フォルダじゃだめかとお腹のおっさんが言い、
「その場所知らない」と私が冷たく言い、「周知されてない」ことにおっさん苦笑。
私のうろ覚えのパスをメモって「ここに置いてください！！」と言い、
でも内線を教えておいてくれとお腹のおっさんに言われ、それも教えることに。
手順も決まって。態勢が決まって、解散。
起動後にやる手順を作る事になった私たちは、ベンダさんと打合せして。
その合間に、もらうことになっていたファイルも格納したと電話をもらい、
次は18:00にベンダさんに会うというわけで、開発サーバ起動したりして。
途中、通常業務に戻ろうとするも、鳴りまくる電話。
やろうと思っていたことは全くできなかった。
ああ、みんなの予定があってれば、この日は韓国にいたかもなのに。
18:00、手順が完成。副サーバから起動する手順は、開発で練習したとのこと。
これでオッケー。何があってもオッケー。
エレベーターホールに集合して、オペレーターのおっさん（お兄さん？）へ説明。
メールでも引継ぎをして、ようやく落ち着く。
１回目の作業終了は21:00頃の予定で、そのために残るつもりもないけど、
自然体で残る羽目に（できなかった仕事を片付ける）。
しかし21:00、信じられないニュースが。
ハード交換後に、起動できない。 って想定外！！
一同、落胆。
オペレータが状況を報告してくれるというので、また打合せ。
21:00を過ぎての、打合せ。
そもそもパターン�，�なくなりかけてるから、パターン��に向けた打合せ。
次は、翌朝の最初の処理8:00に間に合わせるための逆算を。
起動して、止めてたバックアップ取って、とかすると、いつのまにか、
��にいく判断が「深夜2:00」ってことになってた。余裕含みすぎですけどね。
だいたい、「起動に30分」というと「1時間」となって見積られていくからすごい。
1時間あれば、何があっても大丈夫。
ってな具合。
私は有事の際に駆けつける担当なので、2:00判断だとすると、
2:00過ぎには電話で起こされるわけで。
その時点で時計は進み、22:00がみえてきて、最短で４時間のうちに、
家に帰ってシャワー浴びておかないといけないわけで。げんなりする。
と同時に、ドキドキして、心臓がすくんだ。あの動きは、久々だった。緊張するときの、音。
こういうのをきっと、「シビれる」という。
とんだ事態になった。
そういうするあいだに、シングルユーザモードで起動できたのはよかったけど、
その後の確認の結果復旧はしておらず、パターン�，�消えて、
��の可能性は低いものの、�△���かしかなくなった。
仕方ないから��の場合に備えてもう早く帰ることに。
みんなやいのやいの言ってるけど、電話もらうの私なんだからね！！（怒）
一刻も早く帰りたいから、自腹でタクシーして途中駅まで行くことに。
家について0時前、ごはんたべてシャワー浴びたら1時前だった。
本当に電話がきたら、１時間睡眠で起きることになるけど、寝ないよりはマシ。
というわけで、タクシーで行く場合の道順を調べて、強引に布団に入る。
２時３６分。奇跡的に目が覚めて。ケータイを開くと。
着信ナシ。
楽天家な私は、「知らせのないのは良い知らせ」として、再び眠りに着く。
自然と2:36に目が覚めたことを誰か褒めてくれ。
--
そのまま朝を迎える。うまくいったみたい。
でも緊張してるから６：００には目が覚めて、早く行く事にした。
準備中にメールが入った「無事復旧」と。よかった。
まぁ、早く起きたし、何があるかわからんし、一応早く行こう。
でも筋肉痛で早く歩けない・・結局普段より１〜２本しか早くならなかった。
とにかく辛かったのは、筋肉痛。急いでても走れない。歩いても遅い。
13日はこうして寝不足で迎え、筋肉痛は「ふくらはぎ」も追加となり、
もう体調はさんざん。
でも仕事はしないといけない。13日までにやろうと思ってたこと、いっぱいアルヨ。
仕方ないからガキゴキの体をおしえて働いて。
新人にも頑張らせて、全部終わらせた。とにかく、強引に、終わらせた。
--
次の日、14日（木）。
あぁ、なんだか週明けから疲れたから、火曜からのはずなのにまだ木曜？
木曜は進捗会議の日。もう１週間経ったのか。まだ木曜なのか？
もはやぐったりしていて、お昼休みにふと思う。
「明日はリーダーも振休でいないし。いないから、今日中にいろいろ片付けないとだし、
私も明日、いなくてよくね？？疲れたし」
13:00、席に戻ると本当に休めるか確認。休める！！てかもう決めた！休む！！
年休の消化がストップしてきているから、とにかく休むことに。
休むというのは予定があるからじゃなくて、本当に本当に休む事も必要。
というわけでシャッターを下ろして熟睡。
--
本当に信じられないほど寝て、15日（金）10:00起床。
今までと違って、休みだからって「今みんな何してるのかな」などと思わず、
ひたすらごろごろ。ごろごろ。休みたくて休んだ日はこうなる。
取らないといけない振休で無理して休むとこう楽しくはないんだ。
韓国に行くから、ということで、「夏の香り」を見直してみたりして。
ソンスンホンがかっこいいんですね〜〜〜筋肉を強調した服を着過ぎです。
ミヌさんとヘウォン。ヘウォンの恋人役チョンジェ（だっけ）は、いちいち良い人すぎる。
と、ぐうたらして見続けるも、シナリオがおもしろすぎて（ありえなさすぎて）
疲れてきて、昼寝モードに。14:00頃には寝て、起きたら17:00過ぎてた。
すごい。なんて気持ちよかったんだろう。
今週どんだけ疲れたんだろう。
さすがに何もしていないから、ごはんを炊いて。
かぼちゃの煮つけを作ってブロッコリーをゆでて、茄子を蒸して、
長芋としめじとベーコンの炒めものを作って、家族が帰宅してごはん。
かぼちゃが好評で、ブロッコリーもよく売れた。
こうして楽しい金曜日は終わった。なんて楽しいんだろう。
心と頭が、仕事を忘れて休んでいる。
筋肉痛を我慢して歩かなくていいから筋肉も休まって、ようやく回復してきた。
体も、休めることができた。
明日は、また韓国料理を食べに行く
奇跡なほど最も小さなおじさんが短い両手を振って私に話しかけてくる。
「トラブってるよ。おたくのサーバだけ、50分前倒しで業務開始してる」
ちーーん
あまりに体がぐったりしているからチョコラBBを買ってドーピングしようとしてたのに
できなくて、サーバのほうへ。
なぜ通り過ぎるときに気付かなかったのかというくらい、人だらけ。あぁ、これは障害だ。
障害対応ルームに入ると、偉い人がずーん。
入れる空気ではないので、ひとまず外に出る（システム維持管理担当なのに
）。状況を把握して、ベンダさんに指示する事を決め、ひたすら運用資料と格闘。
11:00、遅れ具合を確認して打合せするからと呼ばれる。
3時間でハード交換できるという話から一転、ダメだったときに備えて５〜６時間かかると。
当初考えてた復旧までのシナリオが崩れ、全部のパターンを洗い出すことに。
そこでインフラの偉い人が大暴走。皆、無言になる。
わたしたちは自分のシステムの運用や仕様を調べないといけない羽目になって、
調べて14:00までに持ち帰ることになって。
ごはんを食べたら休まずに戻るという忙しさ。
14:00、リーダーがまとめた資料を持って、再び打ち合わせ。
参加者多すぎ・・・
資料が足りなくて、新人が増刷に走る。私の後ろには某社のエンジニア３人がずーん。
5〜6時間の作業が終わったあとに動く処理を確認。
23:30にあるから、それに間に合うには、23:00めどに起動完了（当初のパターン）
それに間に合わなかったら、次は1:00に動くんだけど、
処理的には、電源ONすると、1:00の処理でまた起動しようとするから
もはや23:30までに終わらないなら1:00を過ぎてから起動開始（パターン�◆�
その起動でまだダメだったら、最悪のパターン、切替え（パターン��）。
というところまで話が進み。
でもハード障害なんだから�，��△覆鵑任靴腓隼廚辰討呂い襪發里痢�
��になったら体制どうすんのってのも考えないといけず（とくに管理職）、大変。
いったん帰ってシャワー浴びて・・と言い出す始末。
いろいろ感じたのは、「とにかく絶対に安全なほうに倒れる」ということ。
わからないから23:00から1:00までに起動しないっていうのはいかにもうちのリーダー。
二重起動になったらスキップする仕様になってるはずだから、
それを確認すればいくらでもやってくれていいのに。
そういうことはしない。うちのリーダー。絶対に安全なほうへ行く。
安全なほうへ、安全なほうへ。見積り時間は過大になっていく。
私が「これくらいかな」と思う時間が30分だとすると、上司たちは1時間取るんだ。
うしろに座っていた某社のエンジニアたちは障害のとき限定の顔見知り。
ここの手順持ってるのかな、とかぶつぶつ言ってるから、振り返って久々に会話。
「ありません」とか「あります」とか、
「この時間帯にcron仕込んでたらわからない」とかいうから「仕込んでません」と言ったり。
5〜6時間の作業後に「確認作業」をすることになってるけど、
「あの確認も含めて5〜6時間だよね」とかブツブツ言ってるから、
「入ってるんですか？じゃあ言ってくださいよ！！」と叱ってみたり。
某社の３人が笑っていた。笑ってないで、言え。でも笑顔がみんなかわいかった。
（１人はどんどんお腹が大きくなっていく中年のおっさんなんだが、好き。）
あげく、話がまとまりかけてるところで、「こうしたほうがよくね？」とか言ってるから、
「はい！？なんですか！？（よりよいプランがあるなら言え）」
というと、そう言い合ってる２人じゃないもう１人のパーマ男が「なしで！
」と言って「はい、なしで」とまとまったり（残りの２人はクスクス笑ってた）。
打合せが解散したあとは、電源停止／起動手順を擦り合わせ。
パッケージ下げて、クラスタ下げたうえで正サーバだけ電源オフすること考えてるという。
でもそこは私が安全なほうに行く。
「いえ、オペマニにある実績ある手順で。」みんなそう思ってるよ。
副から起動する手順はあるのかという話もして、某社の３人組が「昔作った」というから、
お願いだからくれと言い、ファイルで欲しいと言い、メールを知らないと言い、
ファイルサーバのパスを教える。照会用フォルダじゃだめかとお腹のおっさんが言い、
「その場所知らない」と私が冷たく言い、「周知されてない」ことにおっさん苦笑。
私のうろ覚えのパスをメモって「ここに置いてください！！」と言い、
でも内線を教えておいてくれとお腹のおっさんに言われ、それも教えることに。
手順も決まって。態勢が決まって、解散。
起動後にやる手順を作る事になった私たちは、ベンダさんと打合せして。
その合間に、もらうことになっていたファイルも格納したと電話をもらい、
次は18:00にベンダさんに会うというわけで、開発サーバ起動したりして。
途中、通常業務に戻ろうとするも、鳴りまくる電話。
やろうと思っていたことは全くできなかった。
ああ、みんなの予定があってれば、この日は韓国にいたかもなのに。
18:00、手順が完成。副サーバから起動する手順は、開発で練習したとのこと。
これでオッケー。何があってもオッケー。
エレベーターホールに集合して、オペレーターのおっさん（お兄さん？）へ説明。
メールでも引継ぎをして、ようやく落ち着く。
１回目の作業終了は21:00頃の予定で、そのために残るつもりもないけど、
自然体で残る羽目に（できなかった仕事を片付ける）。
しかし21:00、信じられないニュースが。
ハード交換後に、起動できない。 って想定外！！
一同、落胆。
オペレータが状況を報告してくれるというので、また打合せ。
21:00を過ぎての、打合せ。
そもそもパターン�，�なくなりかけてるから、パターン��に向けた打合せ。
次は、翌朝の最初の処理8:00に間に合わせるための逆算を。
起動して、止めてたバックアップ取って、とかすると、いつのまにか、
��にいく判断が「深夜2:00」ってことになってた。余裕含みすぎですけどね。
だいたい、「起動に30分」というと「1時間」となって見積られていくからすごい。
1時間あれば、何があっても大丈夫。
ってな具合。
私は有事の際に駆けつける担当なので、2:00判断だとすると、
2:00過ぎには電話で起こされるわけで。
その時点で時計は進み、22:00がみえてきて、最短で４時間のうちに、
家に帰ってシャワー浴びておかないといけないわけで。げんなりする。
と同時に、ドキドキして、心臓がすくんだ。あの動きは、久々だった。緊張するときの、音。
こういうのをきっと、「シビれる」という。
とんだ事態になった。
そういうするあいだに、シングルユーザモードで起動できたのはよかったけど、
その後の確認の結果復旧はしておらず、パターン�，�消えて、
��の可能性は低いものの、�△���かしかなくなった。
仕方ないから��の場合に備えてもう早く帰ることに。
みんなやいのやいの言ってるけど、電話もらうの私なんだからね！！（怒）
一刻も早く帰りたいから、自腹でタクシーして途中駅まで行くことに。
家について0時前、ごはんたべてシャワー浴びたら1時前だった。
本当に電話がきたら、１時間睡眠で起きることになるけど、寝ないよりはマシ。
というわけで、タクシーで行く場合の道順を調べて、強引に布団に入る。
２時３６分。奇跡的に目が覚めて。ケータイを開くと。
着信ナシ。
楽天家な私は、「知らせのないのは良い知らせ」として、再び眠りに着く。
自然と2:36に目が覚めたことを誰か褒めてくれ。
--
そのまま朝を迎える。うまくいったみたい。
でも緊張してるから６：００には目が覚めて、早く行く事にした。
準備中にメールが入った「無事復旧」と。よかった。
まぁ、早く起きたし、何があるかわからんし、一応早く行こう。
でも筋肉痛で早く歩けない・・結局普段より１〜２本しか早くならなかった。
とにかく辛かったのは、筋肉痛。急いでても走れない。歩いても遅い。
13日はこうして寝不足で迎え、筋肉痛は「ふくらはぎ」も追加となり、
もう体調はさんざん。
でも仕事はしないといけない。13日までにやろうと思ってたこと、いっぱいアルヨ。
仕方ないからガキゴキの体をおしえて働いて。
新人にも頑張らせて、全部終わらせた。とにかく、強引に、終わらせた。
--
次の日、14日（木）。
あぁ、なんだか週明けから疲れたから、火曜からのはずなのにまだ木曜？
木曜は進捗会議の日。もう１週間経ったのか。まだ木曜なのか？
もはやぐったりしていて、お昼休みにふと思う。
「明日はリーダーも振休でいないし。いないから、今日中にいろいろ片付けないとだし、
私も明日、いなくてよくね？？疲れたし」
13:00、席に戻ると本当に休めるか確認。休める！！てかもう決めた！休む！！
年休の消化がストップしてきているから、とにかく休むことに。
休むというのは予定があるからじゃなくて、本当に本当に休む事も必要。
というわけでシャッターを下ろして熟睡。
--
本当に信じられないほど寝て、15日（金）10:00起床。
今までと違って、休みだからって「今みんな何してるのかな」などと思わず、
ひたすらごろごろ。ごろごろ。休みたくて休んだ日はこうなる。
取らないといけない振休で無理して休むとこう楽しくはないんだ。
韓国に行くから、ということで、「夏の香り」を見直してみたりして。
ソンスンホンがかっこいいんですね〜〜〜筋肉を強調した服を着過ぎです。
ミヌさんとヘウォン。ヘウォンの恋人役チョンジェ（だっけ）は、いちいち良い人すぎる。
と、ぐうたらして見続けるも、シナリオがおもしろすぎて（ありえなさすぎて）
疲れてきて、昼寝モードに。14:00頃には寝て、起きたら17:00過ぎてた。
すごい。なんて気持ちよかったんだろう。
今週どんだけ疲れたんだろう。
さすがに何もしていないから、ごはんを炊いて。
かぼちゃの煮つけを作ってブロッコリーをゆでて、茄子を蒸して、
長芋としめじとベーコンの炒めものを作って、家族が帰宅してごはん。
かぼちゃが好評で、ブロッコリーもよく売れた。
こうして楽しい金曜日は終わった。なんて楽しいんだろう。
心と頭が、仕事を忘れて休んでいる。
筋肉痛を我慢して歩かなくていいから筋肉も休まって、ようやく回復してきた。
体も、休めることができた。
明日は、また韓国料理を食べに行く
コメント
コメントする
この記事のトラックバックURL
http://akt19.jugem.cc/trackback/1573
トラックバック
