Box
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 200 150"> <path fill="currentColor" d="M110.7694,78.2609a7.6563,7.6563,0,1,1-7.6565-7.6565A7.6564,7.6564,0,0,1,110.7694,78.2609Zm-30.208-7.6565a7.6562,7.6562,0,1,0,7.6563,7.6565A7.6559,7.6559,0,0,0,80.5614,70.6044ZM144.09,39.3375v71.325a8.5165,8.5165,0,0,1-8.5165,8.5165H64.4262a8.5165,8.5165,0,0,1-8.5165-8.5165V39.3375a8.5165,8.5165,0,0,1,8.5165-8.5165h71.1476A8.5165,8.5165,0,0,1,144.09,39.3375Zm-28.213,38.9234a12.7645,12.7645,0,0,0-24.04-5.9826,12.7646,12.7646,0,0,0-18.9319-4.2309V57.2958H72.904a2.5533,2.5533,0,0,0-5.1055,0h-.0012V78.4723h.0052a12.762,12.762,0,0,0,24.0347,5.77,12.7643,12.7643,0,0,0,24.04-5.9819Zm17.1691-8.73a2.5534,2.5534,0,0,0-4.0824-3.0663l-.0007-.0005-5.6422,7.5423-5.642-7.5423-.0008.0011a2.5533,2.5533,0,0,0-4.0822,3.0661l-.0012.0005,6.537,8.7381-6.537,8.7381.0012,0a2.5533,2.5533,0,0,0,4.0822,3.0661l.0008.0007,5.642-7.5418,5.6422,7.5418.0007,0a2.5534,2.5534,0,0,0,4.0824-3.0662l.0012-.0008-6.537-8.7381,6.537-8.7381Z"/> </svg>
Box ist ein führendes Unternehmen im Bereich Cloud-Content-Management. Das Unternehmen bietet sein Cloud-basiertes Produkt über Webanwendungen, Integrationen mit Partnerlösungen wie Microsoft Office 365 und G Suite sowie öffentlich zugängliche und unterstützte Anwendungsprogrammierschnittstellen (APIs) an, die es Kunden und Partnern ermöglichen, Box in ihre Systeme zu integrieren. Das Unternehmen arbeitete mit Catchpoint zusammen, um:
- Ermöglichen Sie einen proaktiven Ansatz zur Beobachtung von Kundenerfahrungen.
- Schnelles Erkennen der Auswirkungen von Verschlechterungen.
- Überwachung und Analyse von Leistungs- und Verfügbarkeitsproblemen.
- Erhaltung der Gesundheit der Website.
- Nutzen Sie die Datenintegration mit wichtigen Tools.
Wir bieten sowohl direkt als auch über unsere APIs ein konsumentenfreundliches Web-Erlebnis, sodass die Benutzer einen zuverlässigen Zugriff und eine schnelle Leistung erwarten. Daher ist es wichtig, das Kundenerlebnis zu verstehen, und Catchpoint spielt eine immer wichtigere Rolle dabei, Box dabei zu helfen.
Problem
Nachdem Ende 2018 einige umfassende Serviceprobleme auftraten, erkannte Box, dass es einen besseren Einblick in die Kundenerfahrung mit den Box-APIs benötigt. Für jedes Ereignis, das sich auf die Website auswirkt, verfasst Box eine detaillierte Erklärung, die einer Autopsie ähnelt. Bei einigen dieser Ereignisse hatte Box Schwierigkeiten, sein Verständnis des Problems mit dem abzugleichen, was Kunden nach eigenen Angaben erlebten. Durch seine Metriken wusste Box, was innerhalb seines Netzwerks geschah, und nutzte diese Metriken als Proxy für die Bewertung der Auswirkungen auf die Kunden.
Wie Dan Dennhardt, Senior Product Manager bei Box, erklärt, ist die Betriebszeit das Lebenselixier einer Software-as-a-Service (SaaS)-Anwendung, denn die Benutzerbindung ist entscheidend für den Geschäftserfolg. Aus diesem Grund hat Box ausgeklügelte Mittel zur Überwachung und Analyse von Leistungs- und Verfügbarkeitsproblemen eingesetzt.
"Wir hatten die Erfahrungen mit unserer Webanwendung gut im Griff, aber wir tappten im Dunkeln, wenn es darum ging, was die Kunden am anderen Ende der API-Integrationen erlebten", sagt er. "Um unsere API-Kunden besser verstehen und bedienen zu können, benötigten wir eine genauere Darstellung ihrer Erfahrungen.
Lösung
Dennhardt und ein Kollege bewerteten mehrere aktive Beobachtungsoptionen, bevor sie sich für Catchpoint entschieden. Laut Dennhardt stach Catchpoint in mehreren Schlüsselbereichen hervor. "Wenn es darum geht, was wir erreichen wollen, sagt ein Bild mehr als tausend Worte, und wir waren sehr beeindruckt von den Diagrammen und der Visualisierung von Catchpoint", sagt er.
Er schätzt es auch, dass er schnell Messdaten erfassen und weitergeben kann. "Mit Catchpoint müssen wir die Daten nicht erst exportieren und in Excel nachbearbeiten oder in ein Metriksystem einspeisen, um aussagekräftige Informationen zu erhalten." Der dritte wichtige Entscheidungsfaktor war das weltweite Netzwerk von Beobachtern auf Catchpoint. "Unser Hauptrechenzentrum befindet sich im Westen der USA, und obwohl unser Netzwerk weltweit ist, ist es weniger vollständig als das von Catchpoint", sagt Dennhardt.
Ein proaktiver Ansatz zur Beobachtung von Kundenerfahrungen
Mit Catchpoint erhält Box einen umfassenden Einblick in die Kundenerfahrung während der gesamten Lieferkette. "Dies ist für ein SaaS-Unternehmen von entscheidender Bedeutung, aber sehr schwierig, da wir keine Kontrolle darüber haben, was jenseits unserer Netzwerkgrenzen geschieht", sagt Dennhardt. Box nutzt Catchpoint auch als neutralen Vergleichspunkt zwischen den eigenen Metriken und den Metriken der Kunden. "In den meisten Fällen können wir das, was wir sehen, mit dem abgleichen, was unsere Kunden sehen, weil wir gute Protokolle und Metriken erfassen. Aber es ist wertvoll, diese Möglichkeit zu haben, die es uns erlaubt, unsere Ergebnisse zu überprüfen", sagt er.
Die Suche nach der Nadel im Heuhaufen
Obwohl Box den Datenverkehr in der Produktion umfassend überwacht, kann es eine Herausforderung sein, einen bestimmten Zustand anhand der internen Protokolle zu identifizieren und zu testen. Dennhardt erklärt: "Wir verarbeiten 3 bis 5 Milliarden öffentliche API-Aufrufe pro Tag und es werden immer mehr! Es kann schwierig sein, eine Antwort in diesem Datenberg zu finden." So kann Box beispielsweise einen Rückgang des Client-Durchsatzes feststellen, aber da der Durchsatz in einigen Fällen von Natur aus schwankt, kann es für Box schwierig sein, den Grund für einen solchen Einbruch zu ermitteln. Mit Catchpoint können die Überwachungsteams und das Network Operations Center (NOC) von Box leichter untersuchen, wenn ein Fehler nicht nur vorübergehend auftritt. "Wir lassen die Tests von Catchpoint einige Tage lang laufen und vergleichen die Ergebnisse mit unserem breiteren Datensatz, wodurch wir Probleme identifizieren und neue Erkenntnisse gewinnen können", erklärt Dennhardt.
Schnelles Auffinden der Auswirkungen von Degradation
Nicht nur, dass Millionen von Nutzern und Anwendungen auf der ganzen Welt Box verwenden, die Nutzer können auch mehr als 100 verschiedene Aktionen über die API von Box ausführen. Obwohl diese Aktionen gemeinsame Dienste nutzen, unterscheiden sie sich alle durch unterschiedliche Codepfade. Dies macht es schwierig, schnell festzustellen, ob eine Leistungsverschlechterung für eine bestimmte Region oder eine bestimmte API-Aktion spezifisch ist oder ob sie allgemeiner auftritt. Mithilfe des Catchpoint Dashboards können die NOC- und Überwachungsteams diese Probleme schnell einkreisen und aufschlüsseln. Die Teams können auch sofortige Catchpoint Tests verwenden, um eine Beeinträchtigung des Netzwerks zu überprüfen oder auszuschließen. "Catchpoint gibt uns ein direktes Signal dafür, was außerhalb unseres Netzwerks passieren könnte, so dass wir keine Rückschlüsse mehr auf Szenarien wie einen geringeren Durchsatz von Anfragen ziehen müssen", sagt Dennhardt.
Aufrechterhaltung der Gesundheit der Website
Das NOC-Team verwendet Catchpoint regelmäßig als allgemeines Signal für die Aufrechterhaltung des Zustands der Website. Wie Dan erklärt, hat das Box-NOC eine schwierige Aufgabe. "Sie müssen sich über so vieles im Klaren sein und darüber nachdenken, um den Zustand der Website zu verstehen und ihn schnell wiederherzustellen, wenn er nicht mehr akzeptabel ist. Mit Catchpoint erhält das Team Tests mit Details, die es vorher nicht hatte, so dass es einfacher ist, Probleme an der Wurzel zu packen."
Integration mit wichtigen Tools
Durch die Integration von Catchpoint mit Wavefront und PagerDuty steht Box ein komplettes Monitoring-Paket zur Verfügung. Box speist die Daten von Catchpoint in Wavefront ein, um robustere Metriken von seinem Überwachungs- und Anwendungsmetrik-Tool zu erhalten. Durch die Einspeisung von Catchpoint Daten in PagerDuty kann Box sein NOC-Team alarmieren, um Plattformprobleme zu untersuchen und die Dauer der Auswirkungen und der Wiederherstellung zu bewerten.
Ergebnisse
Mit Catchpoint kann Box Veränderungen bei den API-Erfolgs-/Fehlerraten und der Leistung im Laufe der Zeit leichter verfolgen. Und seit der Verwendung von Catchpoint hat sich die Situation dramatisch verbessert. "Catchpoint war nicht der alleinige Grund für die Verbesserung, aber es war ein wichtiger Faktor für die Entscheidung, mehr in die Zuverlässigkeit und Verfügbarkeit zu investieren, und es bietet ein objektives Maß dafür, dass sich unsere Investition auszahlt", sagt Dennhardt.
Dieser erweiterte Fokus auf Zuverlässigkeit und Verfügbarkeit veranlasste das Site Reliability Engineering Team von Box, seine bestehenden Tests in Catchpoint für den wichtigen Log-in Flow von Box zu implementieren. Ein anderes Box-Team nutzte Catchpoint beim Vergleich von Anbietern, die Netzwerk-Routing betreiben, um seine umfangreichen Investitionen zu validieren.
Künftig wird Box die Engineering-Teams, die Teile der Box-API besitzen, standardisieren, z. B. für Uploads/Downloads und die Suche. "Wir arbeiten nach dem Prinzip 'You build It, you run it', so dass jedes API-Team seine eigenen synthetischen Tests für seinen Verantwortungsbereich durchführen wird. Wir werden operative Dashboards für alle Teams standardisieren, damit sie interne und synthetische Metriken leicht vergleichen können", schließt Dennhardt.