[しみず]

最新情報です。

日本時間午後5時頃、1階フロアーに電力を供給している発電機でトラブルが発生しました。その結果、1階フロア収容マシンの稼働が止まりましたが、現在、2階フロアーへは影響はありません。

トラブル発生後、直ちに、対策チームは、空調設備、ルーターユニットへの電力供給不良が何故起こったのか、発電機のトラブル原因調査を開始しました。

結果、２メガワットの発電機を負荷無しの状態で、動作テストが成功したため、空調及び、ルーターなどに電力供給を再開したところ、発電機のブレーカーが反応してしまいました。

発電機自体は、フロアー全体への電源を確保できる容量以上の能力があります。
つまり、発電機自体には問題はないのですが、
搭載されているブレーカーシステムを安定した電力供給に対応したものに交換する必要があります。

いま、代替用発電機を探して、ブレーカーシステムを修理交換するための時間が、どれくらいかかるのか調査しています。

現時点で、電力供給を再開できる時間は未確定ですが、

スタッフ全員　全力を尽くしています。今後、1時間毎に最新情報をお知らせします。

Around 2:20 AM CDT, the backup generator being used to power H1 Phase | experienced an electrical issue resulting in service loss for Phase I; Phase II remains unaffected at this time. Our data center operations and facilities teams immediately began investigating the cause of the failure to restore power to the Computer Room Air Conditioner (CRAC) units and Power Distribution Units (PDUs) for Phase I.

The staff successfully tested the 2 megawatt generator without load, so they began powering up the CRAC units and PDUs to restore service to Phase I. While working through this power restoration, the generator's breakers were tripped by their internal electronics. The generator is rated to handle more than the load required to power the phase, and the generator itself is fully functional, but the breaker system must be replaced to guarantee stable power distribution.

We have attempted to locate a replacement generator and are evaluating the time necessary to repair the breakers on the current generator so we can restore power as quickly as possible. We do not have an ETA for power restoration, but we will be updating you hourly with our current status or sooner, as developments warrant.

[しみず]

午後10時48分現在、新しい情報はありません。引き続き復旧作業中です。

[しみず]

最新情報です。

発電機負荷軽減のためか、1階フロアー収容のマシンについて、

現在の場所から、5キロ離れているところにある　H2 というデータセンター施設へ
もし、希望があれば、サーバーマシンを物理的に移動受付しはじめました。

弊社の場合、このデータセンターに収容されているマシンで、1階フロアーにあるのは
2台だけですので、物理的に他のデータセンターへ移動申請は行いません。

ＷＥＢファイルのみ　プラネット社の別のデータセンターにすでに確保している
マシンへ移動することにします。

207.218.248.47
216.12.208.203　の2台だけが対象。

とりあえず、ＷＥＢファイルなどの移動作業を本日深夜中に完了予定、

ネームサーバー設定は様子を見て、変更します。

[しみず]

最新情報です。
引き続き、ＤＮＳゾーンファイルの調整を
ns1.ev1servers.net
ns2.ev1servers.net
ns5.ev1servers.net
ns6.ev1servers.net

について実施中です。発電機のブレーカー故障で、予定より遅れました。　日本時間午前5時頃に完了予定。



We are still working to update the DNS Zone files on ns1, ns2, ns5 and ns6.ev1servers.net. This process has been delayed by the generator breaker failure at H1 Phase 1, and a new expected resolution time has been set for 3:00PM central.

[しみず]

最新情報です。

1階フロアー用発電機の壊れたブレーカーを修理することはできませんでした。
いま、別の発電機がデータセンターへ向かっています。
あと、数時間で到着予定、到着後、新しい発電機についての追加情報をご案内します。


Fixing the faulty breaker on the generator powering H1 Phase 1 was not successful. we have located a second generator that is currently being delivered to the facility. It is expected to arrive this afternoon and we will provide additional information regarding the new generator at that time.

[しみず]

最新情報です。

報告されていたＤＮＳゾーンファイルの不具合について
ns1.ev1servers.net
ns2.ev1servers.net
ns5.ev1servers.net
ns6.ev1servers.net

を修正しました。同期化が完了しました。
これから　一時ＤＮＳサーバーをオフラインにして、ゾーンファイルを再ロードします。
完了予定時間は、当初通り、日本時間午前５時です。

Regarding the reported DNS zone file issues for ns1, ns2, ns5 and ns6.ev1servers.net, the Zone files have been synced. We are in the process of bringing these servers offline, and reloading them in groups. The ETA for resolution is still set for 3:00PM central.

[しみず]

最新情報です。

代替発電機は、順調に稼働しています。
ＤＮＳサーバーのゾーンファイルの同期不具合も解消しました。

現時点では、マシンへの接続は確保されています。もし、接続されていないドメイン名があれば、ご照会ください。個別に対応します。

本日中に

207.218.248.47
216.12.208.203　の2台について、他の施設へ収容アカウントを移動予定です。

準備が整い次第、該当ユーザーへご連絡します。

[しみず]

まだ、外部ネットワークとの接続が最適化されていませんので、応答レスポンスはよくありません。
現在、担当技術者がネットワーク関連機器の調整にあたっていますので、レスポンスについては時間とともに改善されます。

[しみず]

メールサーバーの動作について
-----------------------------------
サーバーが接続不能状態になっている間に送信されてきたメールは、まず、送信元に「不達エラー」が返ります。

送信側メールサーバーの設定によって、不達メールの処理は違います。

１．不達エラーが出たとき、一定時間を空けて、繰り返し、自動的に再送信トライするように送信側メールサーバーが設定されている場合、遅れてメールは届きますが、
通常、5日程度自動送信トライをする設定が多いため。

２．メール不達時に、再送信しない設定になっている場合は、送信側に不達エラーが返るだけで再送信されません。

今回の事故では、サーバー自体に損傷はありませんので、サーバー内のメールデータ損失はありません。
メール送信元のメールサーバー設定により、受信状態が違うことになります。

つまり、
送信側、受信側ともにメールサーバーに溜まっていたメールが、徐々に配送されますので、

それぞれのメールサーバーの設定によって、遅延現象が起こりますが、
「不達エラー時に再配送トライしない」という設定のメールサーバー以外からのメールは遅れて届くことになります。

不達時に再送信トライする設定にしている送信サーバーの場合、通常４時間毎の再送信になり、4日ほど継続して送信トライします。
その間は、メール送信サーバーの送信順番待ち行列に並んでいます。


今回は、利用者の皆様に、長時間にわたり、大変ご迷惑をおかけしました。

まだ、復旧作業の途中ですので、来週にでも、全体が落ち着いてから、事故についてのレポートを整理してご案内します。

今しばらくお待ちください。

[しみず]

66.98.248.28　のメール送信サーバーで障害が発生していますので、調査対応中。

３時間以内の復旧予定

[しみず]

調整完了、　まだ、不具合がある場合、個別対応しますの、症状確認用情報をお知らせ下さい。

66.98.248.28　のメール送信サーバーで障害が発生していますので、調査対応中。

３時間以内の復旧予定

[しみず]

207.218.248.47　は調査対応中、3時間以内の復旧予定

[しみず]

66.98.248.28 は障害が続いていますので、再度調査中。

調整完了、　まだ、不具合がある場合、個別対応しますの、症状確認用情報をお知らせ下さい。

66.98.248.28　のメール送信サーバーで障害が発生していますので、調査対応中。

３時間以内の復旧予定

[しみず]

最新情報です、

本日昼間より、事故に関連したサーバーで、メールサーバーが不安定になっています。原因はデータセンターのＤＮＳが不安定であるため、

ただ今、対策を検討中

[しみず]

メールサーバーについて、

ほぼ、調整完了しましたが、

現在、
サーバー内で配送待ちメールが大量にほどたまっていますので、だいたい１万通ほど
着信は順番待ちです。メールサーバーが正常に応答していない場合の到着メールについては、相手に不達エラーが戻っています。

しばらくお待ち下さい。