LDX3 recap

Observabilityは常に重要であり、ビジネスにおけるあらゆるコア機能と同様に、その価値を理解する必要があります。

長年、Observabilityの価値は予測可能でした。稼働時間、エラー率、MTTR、そしておそらくツールの統合でした。これで十分に進捗を示すことができました。これらは基本的な、テーブルステークス的な指標であり、今でも重要ですが、それだけでは不十分です。

The gap is becoming harder to ignore

現在運用されているシステムは、より複雑で分散しており、AIによってますます形作られています。この世界では、サービスが稼働しているかどうか、またはインシデントが迅速に解決されたかどうかという質問だけではありません。システムが意図したとおりに動作しているか、顧客体験が価値を提供しているか、そしてビジネスが守る価値のあるリターンを示せるかどうかが問われています。

私たちはLDX in Londonでラウンドテーブルを主催しましたが、私を印象づけたテーマの1つは、slow is the new downというものでした。多くの事例で、アウテージは劣化した体験よりも一般的ではありませんでした。ヘルスケアやEV充電の参加者は、システムが技術的には利用可能でありながら、ユーザーへの重大な害、フラストレーション、またはビジネスリスクを生むほど遅い状況を説明しました。

そのため、スコアカードは変わり、テーブルステークスでは不十分です。馴染みのある指標が完全なものであると仮定してしまう罠に陥りやすいものです。稼働時間、MTTR、エンジニアリングの生産性は、定量化可能で理解されやすく、ベンチマークできるため有用です。これらは能力を証明します。しかし、それらが自動的に示さないのは結果です。それらは、ビジネスがその能力から何を得たかを説明しません。推測はしますが、具体的に示すことはなく、次の投資の増分がなぜ重要なのかも示しません。

なぜ今、この区別が重要なのでしょうか。古い答えは、現場担当者やCTOにとっては十分かもしれませんが、Observabilityに関して発言権を持つようになった、より広範なステークホルダーにとっては説得力が大幅に低下しています。プロダクトは顧客体験が向上したかどうかを知りたがり、セキュリティは新しいシステムの振る舞いが可視化され、管理可能かどうかを知りたがり、財務はプラットフォームのコストだけでなく、何を稼いだり保護したりしたかを知りたがります。同じテレメトリーデータがこれらすべての会話の支えになる可能性がありますが、それは価値ストーリーと測定が意図的に構築されている場合に限ります。

Where organizations get stuck

組織は常に測定に苦労してきましたが、それは指標を知らなかったからではなく、定量化とベースライン化に苦労したからです。今、どの測定値が最も重要かを知るギャップが加わり、解決すべき問題が生じています。

実際には、それは通常、いくつかの予測可能な形で現れます。チームはビジネスにとって意味のあるものではなく、数えやすいものや逸話を測定します。彼らは商業的な成果に結びつけることなく、運用上の改善を報告します。彼らはインシデント中に何が起こったかを説明できますが、12ヶ月後にどのような改善が価値があったかを説明することはできません。Observabilityによって何が得られたかを尋ねられたとき、彼らはしばしば少量の数字、雰囲気、そして逸話に行き着きます。

これらの会話の多くに潜む、より具体的な問題もあります。MTTRはしばしばヒーローメトリックとして扱われますが、実際にはより深い問題の遅行指標です。迅速な解決は重要ですが、多くの組織では、本当のボトルネックはそもそも何が問題なのかを理解することです。正しい問題を迅速に特定することが、作業の形を変えるのです。

ここにAIの世界が加わります。エージェントシステムは、通常の分散システムの意味で複雑なだけでなく、非決定的で、文脈依存であり、時にはユーザーに代わって動作します。つまり、古い監視の前提は崩れ始めます。サービスは利用可能でありながら、振る舞いが悪かったり、顧客体験が悪かったりする可能性があります。技術的には健全でありながら、商業的には有害なモデル。

A broader expression of value

価値ストーリーについて話すとき、私たちはフレームを広げる必要があります。Honeycombでは、5つの相互に関連する領域で考えています。

  • savings
  • stability
  • speed
  • satisfaction
  • product success

最初の4つは、多くのチームが運用面に近いため、最初に取り組む領域です。5番目は通常最も困難です。なぜなら、Observabilityをプロダクト、顧客、そしてビジネス成果に直接結びつけることをチームに強いるからです。

Savingsは一般的にツールの統合というレンズを通して見られます。Stabilityはダウンタイムと運用の脆弱性を減らすことです。Speedはエンジニアリングの時間を回復させ、プロダクト価値の提供により集中できるようにすることです。Satisfactionは顧客、パートナー、下流の信頼に向けたものです。そしてproduct successは最も難しい質問を投げかけます。つまり、これによってプロダクトは何が良くなり、それはどれだけの価値があったのか？これは会話を顧客体験に移します。

AI raises that bar

現在のAI投資の波は、Observabilityをこれまで以上に重要にしています。効果的なGenAI投資とは、組織がAIを価値創造、採用、ビジネスインパクト、規模拡大のためのコスト、そしてガバナンスを通じて判断する必要があることを意味します。Observable AIはコントロールプレーンの一部である必要があります。考えてみてください。AIシステムが運用に高コストで、推論が難しく、本番環境で予測不能で、またはユーザー価値に結びつけることが不可能である場合、可用性指標だけでは投資を正当化できません。Observabilityは、システムが期待どおりに振る舞っているか、本番環境で実際に何をしているか、それが信頼されているか、そして支出に見合う価値があるかどうかに答えるのを助ける必要があります。それは単に「明かりがついている」ことを証明するよりも、はるかに高い基準です。

それはまた、ステークホルダーも変化させました。以前は1人のバイヤーでしたが、今ではCTO、CPO、CISO、CFOなど複数のバイヤーがおり、彼らは異なるレンズを通して物事を見ています。プロダクトはユーザーと機能の成果の証拠を求め、財務はコストと収益のストーリーを求めます。4つのステークホルダーすべてをサポートし、完全な価値ストーリーを語れるリーダーが勝つのです。

ここでの優れた例がFin.aiです。彼らのAIカスタマーサービスエージェントは、毎日何百万もの会話を処理しています。チームは、実際に何が起こっているかを理解するために、サービスヘルスダッシュボード以上のものが必要でした。彼らはHoneycombでFinの正式なSLIを構築し、最初のトークンまでの時間、モデルのパフォーマンス、ルーティングの決定、そして会話レベルの振る舞いを追跡しました。これにより、チームは基盤となるサービスが生きているかどうかだけでなく、実際の顧客体験を測定する方法を得ました。彼らは自社のプロダクトを観測したのです。それはエンジニアがより速くデバッグするのを助けるだけでなく、AIエージェントが期待される顧客体験を提供するのに十分な仕事をしているかどうかを評価するのを助けることでした。FinのKeshaが常に言うように、「observabilityと言わずにobservabilityをどう言うか？」です。

LDX3から出てきたもう1つのテーマは、セキュリティがObservabilityの一部となっている度合いでした。AIの世界では、攻撃速度とサプライチェーンのリスクが高まっています。それは事後のフォレンジック分析ではなく、早期検知、緩和、そしてリアルタイムのシグナル分析であり、同時にセキュリティステークホルダーをまさにその中に引き込むものです。

So, what does good look like?

いつものように、それはベースラインから始まります。ターゲットに向かって構築し、プラットフォームチームの外で重要な成果に直接結びつけます。実際、最も強力な価値ストーリーは、顧客とステークホルダーの入力で形作られ、チームが実際の予算議論で擁護できる数字に基づいて、時間とともに更新されます。

つまり、私たちはより良い質問をしなければなりません。例えば：

  • 昨年の1時間のダウンタイムのコストはいくらで、今はいくらですか？
  • どれだけのエンジニアリングキャパシティが回復され、その時間で何を出荷しましたか？
  • 顧客体験はどのように変化し、それは主張するのではなく示すことができますか？

それは、チームがすでに持っているデータからより明確な価値の表現を構築することを意味します。以前には尋ねなかった質問をすることです。Observabilityは、もはやシステムが稼働しているかどうかを知ることではありません。それは、チームがより明確に見え、より自信を持って動き、技術的なシグナルをビジネスが実際に気にかけている成果に結びつけることができたために、何が変わったかを理解することです。そのストーリーが語れない場合、間違ったものが測定されている可能性が高いです。