【IIJ GIOの裏側を語る#9】大規模インフラの安定運用

カテゴリー: 裏側を語る   パーマリンク
このエントリーをはてなブックマークに追加

『IIJ GIOの裏側を語る』連載企画の第9回です。

今回は、サービス基盤本部の川本が「大規模インフラの安定運用」をテーマに解説します。

執筆者の紹介

株式会社インターネットイニシアティブ
サービス基盤本部
川本 信博

「第9回:大規模インフラの安定運用」

大規模インフラの安定運用

クラウドコンピューティングサービスを利用しているお客様にとっては、物理的なインフラを気にすることなく欲しい機能を必要なだけ利用ができることが大きな利点ですが、その裏でサービスを提供する我々は如何に物理インフラを安定稼働できるかを考え運用をしています。物理インフラの運用には、製品の目利き力、ハードウェアの知見、物理ケーブルの選定、日本のデータセンターに合わせたネットワーク設計・維持、電力・熱問題の対処といった挙げたらきりがないほどの技術要素と経験が必要です。今回はその中からいくつかのトピックを紹介します。

製品選定のプロセス

IIJ GIO P2を構成しているハードウェアは、メーカ製のものがほとんどです。自社で開発していない分、組み合わせて動作の保障と長期にわたり安定運用をするため、「製品のより詳しい動作原理の知見を得ること」「トリッキーなことはせず、より安定稼働できてエンジニアであれば誰が見ても分かり易い構成で利用すること」をポリシーにしています。

例えば、iSCSIを利用しているネットワークでは、マイクロバーストなどでストレージに負荷が一時的に集中した場合、ネットワークスイッチのポートバッファの容量が少ないとパケットロスが起き、急激にストレージアクセスが遅くなることがあります。その問題を未然に防ぐため、よりポートバッファが多く積まれた(deep buffer)ネットワークスイッチを利用して、バーストトラフィックをバッファでキャッシュさせパケットロスを防ぎます。機器の採用を決める際も、実環境でのテストだけではなく、高負荷テスト、ランニングテストを必ず行い、動作原理や挙動を把握した上で採用の可否を決めています。
(図1-1,1-2はそのときの負荷をかけ続けた時のバッファの挙動)

図1-1 負荷テスト構成

図1-2 Deep bufferテスト結果

リソース増設作業

IIJ GIOはコンピューティングリソースを提供するサービスのため、サーバ等の在庫を常に確保できるよう定期的にサーバ増設を行っています。
以前は、必要なサーバ数を都度発注し構築していましたが、IIJ GIOサービス提供以降は増設する量が飛躍的に増え、必要数を都度発注していては追いつかない状態となりました。
また、機器の納品からお客様利用までの時間短縮の必要性にも迫られました。
そのため、物理作業の分散化と構築・テストを自動化し、問題の解決を図っています。

また、今まではサーバ機器の納品をデータセンターで行っていたため、サーバ機器をラックに設置しケーブル結線するといっ作業工程がボトルネックとなっていました。
そこで、サーバ工場で、サーバとネットワーク機器を直接ラックに設置し、ラック内の結線まで済んだ状態で、ラックまるごとデータセンターに搬入することで、
データセンター内ではラックの設置とコアネットワークへの接続だけで済むようになり、大量のサーバを順次設置することが可能になりました。(図2-1,2-2)

図2-1 ラックまるごとデータセンターに搬入

図2-2 従来と現在の違い

また、自社開発したツールで、初期の簡単な設定以外は電源投入から結線確認までの設定やテスト等を自動処理で行うようにしています。(図3)

図3 自動処理

このツールは、自動でサーバーの電源のオンオフ、PXEブートを繰り返しながらサーバの設定を行い、サーバ構成情報を収集し、サーバ物理構成に問題がないかの確認、ネットワークスイッチからのMac Address Table情報と比較し、ケーブル結線も含めた物理構成の確認まで行ってくれます。

ケーブル一本へのこだわり

IIJ GIO P2内の内部ネットワークは、40ギガビットイーサネット(40GbE)をベースに作られています。それ以前は、10ギガビットイーサネット(10GbE)をベースにしていましたが、P2開発当時40GbEのデータセンターで利用できる多ポートのスイッチ製品が出始めてきたこともあり、お客様のEast-Westトラフィックの増大によるトラフィック量増大に対処するため、40GbEの採用を決めました。(2017年現在、既に25G/50G/100Gの製品が出てきているため、今後40GbEは主流ではなくなり、この25G/50G/100Gが主流になっていくと考えています)

IEEE802.3baで標準化された40GbEの規格は、10GbEをベースに多重化することで帯域を増やすものです。そのため、10GbEでは、光ファイバーケーブルが1対(2芯)で済んでいたものが、4対(8芯)必要となります。(40GBASE-SR4 ,40GBASE-LR4)

光ファイバーケーブルは、8芯以上あるMPOコネクタの多芯(一般的に、12芯のケーブル)が必要です。このMPOコネクタのケーブルは、1つのコネクタで多芯を接続できますが、当時コネクタ種の多様性もあり発注先の業者も間違えて納品するといったトラブルも多く、多芯によるコスト増もあったため、運用上の現地オペレーションのミスを防ぐためMPOコネクタの採用をできるだけ避けるべきという結論に至りました。
そこで、トランシーバーで波長を多重化することで、従来利用していたLCコネクタで2芯の光ファイバーが利用できるトランシーバーの採用を決定し、従来通りの運用性を確保することができました。(図4)

図4 トランシーバーとケーブル

以前からデータセンター内のシステムを設計・運用をされていた方にとっては目新しいものが無いかもしれませんが、クラウドコンピューティングサービスの裏側は、地道に運用している物理インフラが支えているのです。

今後の連載予定

コメントは受け付けていません。