[SW3]

私のところには、メールが届き始めたようです。少なくとも、3通ほど届きましたし、送信もできました。完全復旧かどうかは分かりませんが、少なくとも何らかの進展があったと思われます。ご参考まで。

[しみず]

http://domainya.biz/smf/index.php/topic,64.msg208.html#msg208

については、ドメイン名によってプラネット社のＤＮＳサーバーを設定している場合でも、復旧している場合もありますので、
様子を見ながら、ＤＮＳ設定を変更した方がいいだろうと思える場合のみ、利用ＤＮＳを変更設定するようにします。

接続している人が利用しているプロバイダのＤＮＳ情報更新時間の関係などもあり、
かなり込み入っていますので、一括には、なかなか判断できません。

[しみず]

引き続き、復旧作業を続行しています。
何か新しい情報が入ったときに、更新します。

仮に入らない場合でも、完全復旧するまでは、定期的に「新情報なし」として更新予定。

[ohta-studio]

ohta-studioです。
メールとHPの双方が復活いたしました。ヽ(^O^)ノ

[しみず]

最新情報です。

2階フロアーにある6000台のサーバーに引き続き、電力供給を続けていますが、ネットワーク接続でのパケットロスについての連絡がありました。＊接続遅延など、
これはデータセンターと外部ネットワークの接続機器の調整を行っているためです。電力とは無関係。

As we continue to restore power to customer servers on the second floor, several customers have reported intermittent losses of connectivity. This connectivity loss is due to the balancing of network gear in the data center and is unrelated to power.

[pcsos]

207.218.248.67
応答が遅いですが、メールは昨日分のみ受信可能。

24時間から最大36時間分のメールが消失（＝利益喪失）しました。

[しみず]

メール受信について、
接続不能であった期間中は、送信元に不達エラーが届きます。
送信元のメールサーバーの設定によって違いますが、通常は不達エラーの場合、少し時間をおいて再送信する場合があります、そういう設定になっていると
そのメールは遅延受信することなります。最終的に送信出来なかった場合、送信元に送信不可というエラーメールが届きます。

ns1.ev1servers.net
ns2.ev1servers.net
ns5.ev1servers.net
ns6.ev1servers.net

のＤＮＳサーバーについては、

ＤＮＳ情報の拡散を促進するため、昨日の段階で、別施設内で稼働開始させており、ＩＰアドレスとして、旧ＩＰアドレス、新ＩＰアドレスのどちらでも接続出来るようになっていますが、

送信元が利用している接続プロバイダのＤＮＳ情報、更新のタイミングによっては、
新旧どちらもＤＮＳ記録に残っていないため、送信エラーになることがあります。　この現象は、利用プロバイダのＤＮＳ情報が最新情報に更新された時点で解消されます。

[しみず]

最新情報です。

2階フロアーに設置されている6000台のサーバー復旧作業は、かなり進んでいます。
各サーバーマシン毎に適正に起動されているか、確認しながらの作業です。
不具合が出ている場合、個別対応しています。

引き続き、(日本時間3日午前8時ごろまでに）1階フロアーにあるサーバーマシンの復旧を目指します。

We've made significant progress in restoring customer servers on the second floor (phase 2) of H1. The data center staff is still in the process of verifying that servers booted appropriately and are troubleshooting any that have not yet come online.

Per Doug's earlier message, we are still on target to restore service to the first floor (phase 1) by this evening.

[しみず]

最新情報です。

2階フロアーにある6000台のマシンについては、
電力供給が再開されました。外部ネットワークとの接続について最適化が完了するまでは、レスポンスがこれまでより悪くなることが予想されますが、これは技術担当者が対応中です。
48時間経過しても、まだ、異常にレスポンスが悪い場合、ご照会下さい。症状確認の上、プラネット社に対応を求めてみます。

これから、3日午前8時頃までの間に、残りの3000台が収容されている１階フロアーの配線工事作業、発電機導入作業、空調設備調整など、各種復旧作業が始まります。
まだ、接続再開していないマシンについて、ご迷惑お掛けしておりますが、今しばらくお待ち下さい。

[しみず]

すでに接続再開したドメイン名について、
接続再開後、自分が接続しているプロバイダのＤＮＳ情報が最新のものに更新されていない場合、メール送受信で一部障害が出る場合があります。

これは、プロバイダのＤＮＳサーバーのＤＮＳ情報が更新されると無くなる不具合ですので、しばらく様子を見て下さい。
もし、24時間経過しても、まだ、送受信にエラーが出ている場合、個別に調査しますので、
症状確認用アドレス、そのパスワード１を1組だけ添えて、ご照会下さい。


それと、現在、データセンターから外部ネットワークへの接続が最適化されていませんので、レスポンスがかなり悪いです。

[しみず]

2階フロアーの収容マシン6000台のうち、９０％で再接続が完了しました。

残りの10％について、技術担当が手動で再接続確認しています。

We now have 90% of servers located on the second floor of H1 online. Support technicians are on location to manually bring the remaining 10% online.

[しみず]

最新情報です、

一通りの電源供給が完了しましたので、まだ、オンラインになっていないマシンについて、ラック毎に点検開始しました。

Customer servers are coming online now. We are doing a rack by rack physical check for any servers that need technical support.

[しみず]

最新情報です。＊表示時間は、米国中央時間のまま

昨夜、H1データセンター２階フロアーに設置されている　6000台のサーバーについて、
その復旧作業完了予定を「深夜3時頃まで」としていましたが、全作業が日の出を数時間過ぎた時点で、ほぼ終了いたしました。

現時点で、２階フロアーのサーバーマシンへの電力供給は完了しました、
まだ、トラブルが残っているサーバマシンについて技術者が個別対応中です。

2階フロアーのマシンについてのトラブルは、ここ数時間の内に解消されるはずです。

さて、
実際の火災爆発事故が発生したフロアー、1階フロアーについては、かなり作業が
難航しました。電力室に必要な機材調達を待てば、４，５日かかりますので、
今回、3000台の1階フロア収容マシンのために一時的な緊急対策で対応した訳です。

つまり、発電機による電源供給を向こう10～12日続け、
その間に新しい必要機材を全て調達完了し、電力室を全く新しく建設することします。

昨夜、「この一時的な緊急対策を深夜までに確保し、明日までにサーバー復旧をする予定である」とご案内いたしましたが、幸いにもこのメールを読まれている時点で電力は回復し、緊急対策は有効に働いています。

あと数時間のうちに、残り3000台のサーバーにも電力が供給されます、データセンター内では、沢山のスタッフが初期設定作業の支援にあたっております。

次の段階として、必要な機材を全て調達完了し、電源設備室を当初のレベルにまで、
再建築する仕事が残っています。

現在の「発電機による一時的な電力供給対策」から、新しく建造された「電力室への切り替え作業」について、弊社プロジェクトチームは、メンテ作業用の接続停止時間が24～48時間程度、必要であると主張しています。

このメンテ用の接続停止時間について、まだ完全ではありませんが、現時点では、メンテ用作業時間に必要な、接続停止時間を4～6時間に短縮するつもりです。ただ、これでもまだ、かなり長時間の接続停止になりますので、今週中にどうすれば、接続停止時間をさらに短縮可能か、様々な方法を考えてみることにします。

新しい電力室への切り替え時に「ある程度の接続停止時間」が必要であるとして、
この切り替え作業を土曜日の深夜、6月7日、あるいは6月14日に実施する予定です。

各ユーザーの影響が一番少ないだろう時間帯を選択するつもりです。

以下　挨拶のため省略、

Late last night, I told you we hoped to have power to the 6,000 servers in Phase 2 of our H1 data center by midnight, with all servers up by early morning. I am glad to say we came close, just a few hours after sunrise. At this time, 100% of our servers in Phase 2 have power, and our technicians are working with customers on any remaining server issues. We are confident all remaining issues will be resolved shortly.

I also explained the significant challenge we faced in the other phase where the actual explosion occurred. Our team came up with a creative way to restore power quicker than the 4-5 day outage. We decided not to wait for equipment for the electrical room completely, opting instead for a temporary solution to get power to the 3,000 servers. That solution involves using generator power for the next 10 -12 days until all the new equipment arrives to rebuild the electrical room for Phase 1. I explained that we expected to have a temporary solution in place by midnight tonight, with servers powered up tomorrow. The good news is that as you read this letter, the power is restored, and the temporary solution is in effect. Within the next two hours, the remaining 3,000 servers have power. We have overstaffed our data centers again to help during this initial power up.

This now leaves us facing step two of this process, which requires getting all of the equipment delivered and then rebuilding the electrical room to its original standard. To make the cutover to the rebuilt electrical room, the operations group believed it would take a maintenance outage of 24-48 hours. I have good news on that front. It's not perfect, but at present we now believe the maintenance window will be just 4-6 hours. That's still too long, and we will continue this week to find ways to reduce the time. Given that there will be some outage for the cutover, we will execute this step at midnight on a Saturday, either June 7 or June 14. We want to pick the most appropriate time to minimize impact to you.

I must admit that I am amazed. We are almost 18 hours ahead of schedule with this phase, thanks to our great suppliers and of course the great folks working here at The Planet. This could never have happened without the help of both, and I want to thank all of them.

There is still more work to do, but the progress is terrific. We will continue to work any and all customer issues, and we face the challenge of putting the permanent power fix in place for Phase 1. Nonetheless, there is still good news based on what I told you last night.

As each hour passes, we learn more and more. Please give us the time to continue our planning. We will provide you with information as we have it.

Until tonight's update….

Douglas J. Erwin

Chairman & Chief Executive Officer

[しみず]

午前9時現在、まだ接続開始していないマシンですが、個別に照会したところ、次の回答が来ました。

207.218.248.47　について　電源供給がうまくできていないため停止中。現在、調査対応しています。


Ticket Number:     4856811PLNT
Ticket Type:    Technical Support
Server:    (207.218.248.47)
Status:    OPEN
Opened By:    Tech Support
Summary:    H1-Outage-PSU
Last Updated:    2008-06-02T18:19:45.000-05:00
Details:    
Scott S. - Monday June 2nd, 2008; 6:19 PM CDT
We have currently restored power to phase two of our data center. During this process your server has failed to come up because the power supply has failed.

We will be looking into this as soon as possible. We are working to identify all servers that require technical intervention and we are working methodically to resolve these issues.

Thank You,

Houston Data Center Staff

[しみず]

207.218.248.47　について続報です。

まだ、ネットワークに少し問題があります、207.218.248.47　については、まもなく解決予定。

Dear Customer,

We are still have some small issues with our network. Your issue should be resolved soon. For more information please see http://service-update.theplanet.com/

Thank you,
PurtisJ
Technical support
www.theplanet.com