TOPPANエッジITソリューション様事例

システム監視・運用のプロ集団であるTOPPANエッジITソリューション株式会社は、企業におけるクラウドシフトの加速を受け、これまでの常駐型の監視・運用サービスに加え、初めてお客様のクラウドシステムを対象とした「リモート監視・運用サービス」の提供に踏み切りました。同サービスの一部にPagerDutyを採用したのは、従来から課題として認識していた「エスカレーションの自動化」を実現する狙いからでした。導入後はアラート発生からお客様先の担当者に通知されるまでに約10分かかっていたところを、設定したルールに基づくアラートの自動振り分け・即時通知が可能になり、インシデント対応が大幅に効率化されました。今後はPagerDutyの機能をフル活用しながらインシデント発生件数の削減に貢献することで、より高品質なサービスの提供を実現しようとしています。

お客様環境のクラウドシフトに伴ってリモート運用・監視サービスを開始

TOPPANグループのシステム開発企業であるTOPPANエッジITソリューション株式会社(以下、TOPPANエッジITソリューション)は、1975年の創業から半世紀にわたって培ってきたITシステムの開発および監視・運用の確かな技術力で、お客様のさまざまなIT課題の解決を支援しています。同社のお客様は大手金融機関や公共インフラ企業が半数以上を占め、24時間365日の安定稼働が求められるミッションクリティカルな領域で鍛え続けられた技術力と対応力が大きな強みです。

特に昨今のITシステムには、低コスト化や開発のスピード化、運用負荷の軽減が求められており、オンプレミスからクラウドへの移行が急速に進んでいます。複数システムを運用する企業・団体では、サービスごとに異なるクラウドサービスを利用しているケースや、開発者自身がシステムの監視・運用を行っているケースも少なくありません。TOPPANエッジITソリューションではこれまでお客様のデータセンターに自社のITエンジニアを常駐させ、各種システムの監視・運用を行うサービスを提供してきましたが、そこでの豊富な知見を活かしクラウド環境の監視・運用においてガバナンス面や人的リソースの確保に課題を抱える企業・団体に対し、2024年2月、新たに「リモート監視・運用サービス」をスタートさせました。

これは国内最高水準のセキュリティ品質を誇る同社の新拠点「ITサポートセンター」から、クラウド技術と監視ノウハウを持つ運用担当者が24時間365日体制で、お客様が運営するさまざまなクラウドシステムの監視・運用を行うものです。同サービスを利用し複数のクラウド基盤の監視・運用体制を一元化することで、お客様は人的リソースやコストを最適化しつつ、クラウドに特化した質の高い監視・運用環境の確保と高レベルな可用性を実現できます。この「リモート監視・運用サービス」の提供に際しサービスの一部として採用されたのが、インシデント管理ツールのグローバルスタンダードであるPagerDutyです。

エスカレーションの自動化を目指し銀行での実績を持つPagerDutyに着目

新しいサービスを設計するにあたりエスカレーションの自動化を実現したいと考えてというTOPPANエッジITソリューション。

入社当時、お客様金融機関のシステムにおいて24時間365日体制の監視・運用業務を担当していた経験を持つ池西氏は、人を介したエスカレーションの難しさをこう説明します。「自分自身を振り返っても、コールする側の精神的負担が非常に大きかったことを鮮明に覚えています。当時は携帯電話も現在ほど普及していないので、夜中にインシデントが発生すると紙ベースで担当者を調べて、ご自宅に電話していましたね。ご家族が電話口に出る場合もあり、そこから担当者を起こして呼んでもらっていました。また、同時多発的に障害が発生すると、対応にリソースが取られてしまう問題もありますし、インシデント発生から担当者に連絡するまでに時間がかかれば問題が大きくなるリスクもあります。PagerDutyの導入によって、これらの課題を一気に解決できることに期待しました」

また、猪股氏は、「ツールの検討を始めたとき、タイミングよく、ある銀行で基幹システムをクラウド上に移行するにあたりPagerDutyを導入されたという記事を目にしました。もともと候補に挙がっていたツールでもありましたから、金融機関での利用実績が豊富であることも我々の意思決定を大きく後押ししてくれました。監視ツールに選択していたDatadogとの連携実績もポイントになりました。監視ツールから入ってきたインシデントのメッセージを右から左に流すだけというツールも多いなかで、過剰なアラート通知を減らし初動対応を効率化するイベントオーケストレーション機能がある点にも魅力を感じましたね」と語ります。

お客様の要件に合わせた柔軟な設定で通知の即時性を高め問題解決を迅速化

TOPPANエッジITソリューションではPoCを経てPagerDutyの本稼働を開始。「ユーザーインタフェイスが非常にわかりやすく、ドキュメントを深く読み込まなくても直感的に操作できたので、PoCから本稼働まであまり時間がない中で助かりました」と池西氏。

PagerDutyの導入によって、当初の狙いの一つにあったエスカレーションの自動化を実現した今、これまで運用担当者がアラート発生内容に応じてお客様担当者を確認してエスカレーションするのに10分かけていたところを、お客様先の適切な担当者に自動で即時通知できるようになっています。

福芳氏はインシデント対応を自動化する柔軟な設定が可能なワークフローに助けられているとして「営業時間帯は電話で通知し、時間外はメールだけにしてほしいなど、お客様ごとの細かい要件に合わせてスケジューリングしたり、特定のキーワードで通知方法の振り分けを行ったりなど、PagerDutyのイベントオーケストレーション機能を便利に活用してエスカレーションのプロセスを効率化しています。お客様環境での使用感になるため効果を定量的に示すことはできませんが、アラート発生後の通知の即時性が上がったとのお声をいただいています」と語ります。

さらに猪股氏は通知を受ける側の目線から、「担当者が通知を受け取れなかったときPagerDutyなら確実に別の担当者にエスカレーションされ、現在の対応状況が可視化されます。対応の遅れを回避できるだけでなく、通知を受け取れなくても後から自分で情報収集する手間がありません。そういう意味でも便利なツールです」

さらなる機能活用で人手による作業を排除し自動化された復旧プロセスの実現へ

「我々が監視・運用しているのはお客様のシステムですので、通知漏れがあってはなりません。したがって、現在は発生した10のアラートに対して10の通知が行くというように、起こったことはすべて通知するスタンスでサービスを提供しています。しかし、実際には通知が必要なインシデントはそのうちの一部でした、ということもあるわけです。アラート数の多さに悩まされているお客様が多いことを踏まえ、今後はPagerDutyのトリアージ機能を活用してアラートを削減するとともに、実際に対応が必要なインシデントを精査することで、お客様にさらなる価値をご提供していきたいと考えています」と池西氏。

さらに猪股氏も、「インシデントからITSMツールへの完全自動起票に加えて、インシデントをトリガーにした自動でのログ取得、プロセスやサーバーの再起動といったオペレーションの自動化、さらにはその結果を踏まえた担当者の自動通知など、いかに人手に頼ることなくお客様のサービスを早期復旧できるかという観点でPagerDutyの活用を進めていきたいですね」と付け加えます。

TOPPANエッジITソリューションが目指すのは、自動化の推進によりできるだけお客様が対応しなくてもいいような状況を増やすこと。PagerDutyの機能をフル活用してより付加価値の高いサービスの提供を可能にすることで、クラウドシステムの監視・運用にお困りのお客様の課題解決を支援していきます。

「いかに人手に頼ることなくお客様のサービスを早期復旧できるかという観点で、引き続きPagerDutyの持てる機能をフル活用していきます」

猪股 久紀 氏

TOPPANエッジ ITソリューション株式会社
システム企画部 部長

池西 隆行 氏

TOPPANエッジITソリューション株式会社
NEXT企画・販促部 部長代理

福芳 寛 氏

TOPPANエッジITソリューション株式会社
システム技術部 マネージャー