イオンスマートテクノロジー様事例

イオングループのデジタルシフトの中核を担うイオンスマートテクノロジー株式会社は、SREの実践に欠かせない仕組みの一つとして、同社が提供するサービスの安定稼働を支えるインシデント管理基盤にPagerDutyを採用。導入を機に、専任の運用チームからインシデント対応の権限と責任を各プロダクトチームに完全委譲することで、人の介在を最小限にし、対応スピードを向上することに成功しました。また、PagerDutyの活用を通じてインシデント対応への意識が高まり、アラート件数の大幅な削減も実現。同社では、これらの取り組みはすべてお客様の信頼獲得につながるとして、引き続き全プロダクトチームへのさらなる定着化を進め、より洗練された障害対応文化の醸成を目指しています。

SREへの取り組みの一環としてインシデント対応のあり方を再構築

2020年にイオンのDXを推進するITインフラを担う企業として設立されたイオンスマートテクノロジー株式会社(以下、AST)は、「イオングループのすべてのビジネスをテクノロジーの力で進化させる」というミッションのもと、デジタルシフト戦略を具現化するためのプラットフォーム構築や、ID統合などを進めてきました。店舗とお客様をつなぐプラットフォームとして誕生し、「決済」「ポイント」「店舗情報」を一つにまとめたイオングループの公式アプリ「iAEON(アイイオン)」は、2021年9月にリリースし、2025年3月には1,500万ダウンロードを突破。

これまで事業会社ごとに展開してきた多様なサービスやアプリを共通IDでシームレスに利用できるようになることを目指し、さらなる機能の拡充と利便性の向上に努めています。

AST では、この iAEON をはじめ、関連する認証基盤、ECサイトなどのインシデント対応にSRE(Site ReliabilityEngineering:サイト信頼性エンジニアリング)の手法を取り入れ、各プロダクトチームに展開する取り組みに注力してきました。オブザーバビリティの実装やポストモーテムの重視などと並び、障害にいち早く気づき、速やかに解決へと導くための取り組みも同様です。齋藤氏は、かつてのシステム運用体制をこう振り返ります。

「以前は専任の運用チームがアラート通知を一元的に受けてインシデント対応を行っていたのですが、その運用チームに対して人手による架電でエスカレーションする外部ベンダーがいました。要は、電話をかけるだけのために、人が介在していたわけです。そうなると、当然ながら初動までに時間がかかります。また、運用チームで解決できない場合は開発チームにエスカレーションするのですが、どうしても開発チームによるシステムの関わりが間接的であることで、対応のスピード感が失われる側面がありました。単に運用チームの負荷が高いという理由だけでなく、障害対応に時間がかかる状況は、お客様の信頼に関わるクリティカルな問題であるという認識から、解決策の検討がスタートしたのです。」

インシデント対応を革新する製品としてデファクトスタンダードなPagerDutyに期待

前職で全社共通のプライベート基盤の開発・運用を担当していた齋藤氏は、当時利用していたPagerDutyの採用に迷いはなかったと言います。PagerDutyはグローバルでの実績が豊富であることに加え、インシデント管理プラットフォームにおいて世界のデファクトスタンダードとなっていることからも、イオングループという巨大エンタープライズ企業の障害対応のあり方を革新し得る製品はこれ以外にないとの判断でした。

AST では、業務と組織設計の両面の見直しを行い、専任の運用チームを解散。各プロダクトチームに権限と責任を委譲し、インシデント対応のためのオンコール担当をローテーションしながら運用を回すことにしました。そこで、定着化に向けてPagerDuty社の力を借りつつ、SREチームやオンコールを担当するプロダクトチームの製品理解を促進。

「PagerDuty社が、組織としてインシデント対応の成熟度を高めるためにはどうしたらよいかという視点で、ツールに直接関係のない領域でも相談に乗ってくださったことが非常に印象的でした」と齋藤氏。

林氏は、チーム間の温度差やスキルのギャップに戸惑いながらも、「PagerDuty社から提供される情報や豊富なドキュメントを活用することで、各チームに合わせた情報提供のあり方を工夫できました。そもそもPagerDutyはシンプルでわかりやすいユーザーインターフェイスが提供されているので、意外と直感的に操作できてしまい、その良さを理解してもらうのに多くの時間を必要としませんでした。最初は夜中に起こされるツールという印象が強かったようですが、すぐに利便性を実感してくれたようです」と語ります。

齋藤氏を中心に、PagerDutyの導入に先んじて組織へのSREの浸透を支援する中で、すでに各チームとの信頼関係が構築されていたことも、早い段階で理解を促進できた理由の一つと考えられます。

専任の運用チームからの権限委譲でプロダクトチームの当事者意識に変化

「アラート通知をアウトソースしていた専任のチームが、その存在すらなくなったというのは、コスト削減という意味でも間違いなく一番の成果だと思います」と胸を張る齋藤氏に続き、林氏は定量的な改善効果について、「アラートの発報直後に担当者の電話が鳴るようになったのは、導入前との大きな違いです。専任の運用チームがいた当初も改善の余地はありながら短い時間で検知はできていたのですが、プロダクトチームが直接アラート を 受 け る よ う に な っ た こ と でMTTA(Mean Time ToAcknowledge: 平均確認時間)が十数分から数分へと短縮されています」と説明します。

また、プロダクトチームにおいては、今まで運用チームが受けていたアラートが自分に飛んでくる状況を体験することによって、当事者意識に変化が生まれることも見て取れました。いざ当事者になると、アラートを精査して無駄な対応を減らそうという気持ちが芽生え、一つひとつのアラートの必要性について会話する様子が見られるようになり、結果として2,000件ものアラートの削減に成功しています。

「間違いなくPagerDutyが組織を変革するきっかけを与えてくれたのです。PagerDutyの使い方を学ぶプロセスを通して自ずとインシデント対応への意識が高まっていき、最終的に一番大切なお客様の信頼を獲得することにつながっていくわけですから、その影響力は非常に大きいと感じています。PagerDutyに投資する価値は、実は組織の意識改革にあったのではないかと言っても過言ではありません。運用に対する所作が変われば、組織が変わり、より良い価値を創出できるようになっていきます。PagerDutyにはそういう連鎖を生み出す力があります。インシデント管理を行うための単なるツールではない、ということです。」(齋藤氏)

さらなるチャレンジを通じてより洗練された障害対応文化を醸成

導入が一段落した今、当面の課題はさらなる定着化への取り組みです。齋藤氏が「登山で言えば2合目ぐらい」と表現するとおり、各プロダクトチームへの権限移譲が完了したものの、チーム間で活用の成熟度にはバラつきがあり、積極的に活用を進化させているチームがある一方で、依然としてフォローが必要なチームもある状況です。

そこで同社が計画するのが、各プロダクトチームへの定期的な「障害対応訓練」の実施です。これは、PagerDuty社が主催したインシデント対応スキルを競うコンテスト「PagerDutyChallenge Cup」からヒントを得たもので、「ゲーム感覚で楽しく冷や汗をかきながら障害対応を行う経験を通して、多くの刺激と学びを得ました。これを社内にも展開したいのです」と林氏。障害対応訓練は、インシデントコマンダーとしての考え方を周知するほか、組織的な報連相フローを確認したり、技術的なナレッジをシェアしたりする機会として活用していく考えです。

また一方で、AIによる支援機能の進化に注目する林氏は、「この時代に生まれて良かったと思うほど期待値が高い」として、すでにメリットを享受しつつあるポストモーテムのAIによる自動下書き機能や、プレビュー利用を申請中のAIエージェントなどを、PagerDutyの豊富で柔軟な機能と組み合わせて活用することで、障害対応の文化をより洗練されたものにしていく考えです。

プロダクトチーム主体の障害対応を実現したASTは、人の介在を最小限にとどめながら、対応のスピードと質を上げ、お客様にとっての価値をさらに高めようとしています。

「PagerDutyは単なるツールではありません。活用を通して自ずとインシデント対応への意識が高まり、最終的にはお客様の信頼を獲得することにつながっていきます。」

齋藤 光 氏

イオンスマートテクノロジー株式会社
DevSecOps Div ディレクター

林 如弥 氏

イオンスマートテクノロジー株式会社
DevSecOps Div SREチーム