<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 200 150"> <path fill="currentColor" d="M89.93,81.2075A11.5312,11.5312,0,1,1,78.3993,69.7127,11.353,11.353,0,0,1,89.93,81.2075Zm-5.0478,0a6.5,6.5,0,1,0-6.4833,6.9653A6.62,6.62,0,0,0,84.8826,81.2075Zm29.9238,0a11.5311,11.5311,0,1,1-11.5311-11.4948A11.3529,11.3529,0,0,1,114.8064,81.2075Zm-5.0477,0a6.5,6.5,0,1,0-6.4833,6.9653A6.62,6.62,0,0,0,109.7587,81.2075Zm28.8873-10.8V91.0439c0,8.489-5.0063,11.9561-10.9247,11.9561a10.9465,10.9465,0,0,1-10.1889-6.7735l4.3948-1.8295a6.35,6.35,0,0,0,5.7889,4.0787c3.7884,0,6.1361-2.3373,6.1361-6.7373V90.0852h-.1762a7.8264,7.8264,0,0,1-6.0532,2.612A11.379,11.379,0,0,1,116.61,81.249c0-6.4885,5.2655-11.5363,11.0129-11.5363a7.966,7.966,0,0,1,6.0532,2.57h.1762V70.4123h4.7938ZM134.21,81.249c0-4.0476-2.7-7.0068-6.1361-7.0068-3.4827,0-6.4,2.9592-6.4,7.0068a6.5972,6.5972,0,0,0,6.4,6.9238C131.51,88.1728,134.21,85.2551,134.21,81.249Zm12.3395-22.9378V91.9975H141.626V58.3112Zm19.1857,26.68,3.918,2.6119a11.4415,11.4415,0,0,1-9.5773,5.0945A11.2467,11.2467,0,0,1,148.669,81.2023c0-6.8357,4.9182-11.4948,10.8418-11.4948,5.9651,0,8.8828,4.7472,9.8364,7.3125l.5235,1.306L154.5045,84.69a5.85,5.85,0,0,0,5.5712,3.4826,6.56,6.56,0,0,0,5.6593-3.182Zm-12.06-4.1357L163.9471,76.59a4.45,4.45,0,0,0-4.2653-2.4358A6.3051,6.3051,0,0,0,153.6753,80.8551ZM48.2319,78.2172V73.3405H64.6656a16.1539,16.1539,0,0,1,.2436,2.9436c0,3.6589-1,8.1832-4.2238,11.4068A16.3215,16.3215,0,0,1,48.237,92.6972,17.85,17.85,0,1,1,48.237,57a17.0074,17.0074,0,0,1,12.2308,4.9182l-3.4412,3.4412a12.431,12.431,0,0,0-8.7947-3.4827,12.973,12.973,0,0,0,0,25.9437A11.9411,11.9411,0,0,0,57.2443,84.25a10.1085,10.1085,0,0,0,2.643-6.0377Z"/> </svg>
Google musste riesige Datenmengen in möglichst kurzer Zeit analysieren, um langfristige Benchmarks und Trends zu ermitteln, Latenzzeiten zu reduzieren, spezifische Daten über lange Zeiträume hinweg zu analysieren und Daten für die vielen Personen und Abteilungen, für die sie relevant sein könnten, leicht zugänglich zu machen.
Google ist eine Partnerschaft mit Catchpoint eingegangen, um:
o Bereitstellung aktiver Beobachtbarkeitsdaten über ihre digitalen Liegenschaften und Netzwerke.
o Bereitstellung aktiver Beobachtbarkeitsdaten über ihre digitalen Liegenschaften und Netzwerke.
o ihre Leistungsdaten zur Speicherung und Analyse an einen bestimmten Endpunkt übermitteln.
o Integrieren Sie die Warnmeldungen von Catchpoint in ihr eigenes Warnsystem, um proaktiver zu werden.
CatchpointDie Webhooks von geben uns die Kontrolle und Flexibilität, unsere Daten zu visualisieren und zu analysieren und sie in unsere Alarmierungs-Tools zu integrieren. Mit diesem Tool waren wir in der Lage, die Echtzeitmessungen von Catchpoint zu nutzen, um die Latenz von Google Public DNS zu ermitteln und zu beheben. Anstelle eines langwierigen Prozesses waren wir in der Lage, das Problem fast sofort anzugehen und es in wenigen Minuten zu beheben, anstatt in zig Minuten.
Problem
Als eines der größten Unternehmen der Welt hat Google eine riesige Menge an digitalen Objekten unter seiner Kontrolle, die einer ständigen internen und externen Überwachung bedürfen, um den Ruf der Technologiemarke für digitale Exzellenz zu wahren.
Um eine exzellente Leistung über die vielen verschiedenen digitalen Objekte hinweg zu gewährleisten, muss Google in der Lage sein, riesige Datenmengen in möglichst kurzer Zeit zu sammeln, zu speichern und zu analysieren. Eine herkömmliche REST-API-Lösung kann diesen Bedarf aufgrund der Systemgrenzen, die die Anzahl der Anfragen in einem bestimmten Zeitraum begrenzen, nicht erfüllen. Stattdessen benötigen sie eine Möglichkeit, alle eingehenden Daten zu sammeln und zu speichern, damit sie diese in Echtzeit analysieren können.
Google muss in der Lage sein, diese Informationen über Monate und Jahre hinweg zu analysieren, sei es, um langfristige Benchmarks und Trends zu ermitteln, oder um spezifische Daten über lange Zeiträume hinweg zu analysieren.
Außerdem müssen die Daten aufgrund des Umfangs der Organisation an einem Ort gespeichert werden können, der für die vielen verschiedenen Personen und Abteilungen, für die sie relevant sein könnten, leicht zugänglich ist.
Lösung
Um all diese Daten zu verwalten, verlässt sich das Site Reliability Engineering (SRE)-Team von Google auf die Testdaten-Webhook-Funktion von Catchpoint. Mit diesem Tool kann der Kunde auswählen, welche seiner Tests die Daten von Catchpoint in Echtzeit an einen bestimmten Endpunkt weiterleiten sollen, wo sie dann in eine beliebige Anzahl von Tools von Drittanbietern zur Speicherung und Visualisierung integriert werden können; im Fall von Google wird dies mit den hauseigenen Tools wie Google Data Studio durchgeführt.
Durch die Aktivierung des Testdaten-Webhooks werden die Leistungsdaten von Google jedes Mal, wenn ein Test auf der Plattform Catchpoint ausgeführt wird, an den dafür vorgesehenen Endpunkt weitergeleitet, wo sie dann ihr ETL-Paradigma (Extract, Transform, Load) ausführen können. Auf diese Weise sind sie in der Lage, die Systemgrenzen der REST-API zu überwinden, um alle ihre Leistungsdaten zu verarbeiten, sobald sie von Catchpoint erfasst werden, und sie sogar noch länger zu speichern als die branchenführende dreijährige Speicherfrist von Catchpoint.
Nachdem die Testdaten vom Testziel durch den Knoten Catchpoint gesammelt wurden, werden die Informationen kompiliert und in ein JSON-Format (XML ist eine weitere Formatierungsoption) gebracht, bevor sie an den Endpunkt von Google gesendet werden, wo sie an eine AppEngine gesendet werden, die auf der Google-Plattform läuft. Dort durchlaufen sie die ETL-Funktionen und werden dann mit Cloud Bigtable gesendet und gespeichert, von wo aus sie mit Data Studio oder einem anderen gewünschten Visualisierungstool (z. B. Grafana, Geckoboard usw.) visualisiert und analysiert werden können.
Ergebnisse
Die von Catchpoint bereitgestellten Messungen haben Google in die Lage versetzt, Leistungsprobleme bei mehreren digitalen Objekten unter seiner Kontrolle zu erkennen, darunter sowohl das öffentliche DNS als auch die Backbone-Infrastruktur.
Im Fall von Google Public DNS kam es zu einer sehr hohen Abfragelatenz, die bei der internen Überwachung des Dienstes nicht festgestellt werden kann, da es keine Möglichkeit gibt, festzustellen, wie lange eine DNS-Antwort vom Client empfangen wird, sobald sie aufgrund einer fehlenden TCP-Verbindung gesendet wurde; im Wesentlichen gibt es keine Möglichkeit, die Umlaufzeit zwischen Client und Server zu messen.
Mit Catchpoint war das SRE-Team von Google jedoch in der Lage, Probleme mit der Abfragelatenz aus der Netzwerkperspektive zu erkennen, insbesondere durch die Identifizierung einiger ASNs, die die größte Latenz aufwiesen. Von dort aus konnte das SRE-Team direkt ermitteln, wo das Problem lag, anstatt zwischen dem ISP, der das Problem gemeldet hatte, und seinen Kunden und dann dem SRE-Supportteam hin und her zu gehen. Letztendlich konnte das Problem in nur wenigen Minuten erkannt und behoben werden, während dies normalerweise fast eine Stunde gedauert hätte.
Wenn Google Probleme in seinem Backbone hat, die ein Post-Mortem erfordern, ist das Unternehmen unter anderem daran interessiert, zu erfahren, wie sich diese Ausfälle auf sein Cloud-Produkt ausgewirkt haben. Da jeder im Unternehmen auf die Daten zugreifen kann, sobald sie den Datenspeicher erreicht haben, können die zuständigen Mitarbeiter die Analyse selbst durchführen und in den Post-Mortem- oder Leistungsbericht aufnehmen, ohne dass sie sich darauf verlassen müssen, dass jemand, der direkten Zugriff auf die Plattform Catchpoint hat, einen Bericht für sie erstellt, was mehreren Teams Zeit spart.
