Erkunden von Amazon Security Lake
Bei Salesforce steht Vertrauen an erster Stelle. Wir legen größten Wert auf den Schutz und die Vertraulichkeit Ihrer Daten. Unsere Customer 360 Platform verbindet Daten von Marketing-, Vertriebs-, Commerce-, Service- und IT-Teams rund um jeden Kunden, sodass sie zusammenarbeiten und gleichzeitig die Produktivität steigern, die Effizienz erhöhen und die Kosten senken können.
Um das Wachstum unseres globalen Kundenstamms zu unterstützen, stellen wir Customer 360 jetzt sowohl in einer Erstanbieter-Infrastruktur als auch über Hyperforce bereit. Das ist eine neue Infrastrukturarchitektur, die Salesforce eine schnelle und sichere Skalierung über Partner für öffentliche Clouds ermöglicht – einschließlich AWS und dessen neuesten Sicherheitsinnovationen.
Lösen der Protokollsammlung in großem Umfang in Hyperforce
Das Detection and Response(DnR)-Team spielt eine wichtige Rolle dabei, die Salesforce-Infrastruktur zu sichern, bösartige Bedrohungsaktivitäten zu erkennen und auf Sicherheitsereignisse zeitnah zu reagieren. Zu diesem Zweck sammeln und prüfen wir Petabytes an Sicherheitsprotokollen in Dutzenden von Organisationen, von denen einige Tausende von Accounts haben.
Mit der Zunahme an Hyperforce-Instanzen, -Accounts und -Services steht das DnR-Team vor der Herausforderung, die Effizienz und Skalierbarkeit unserer Datenpipeline und unseres Data Lake zu verbessern. Zeitaufwändigen Aufgaben wie der Verringerung der Latenz bei der Protokollaufnahme, der Verbesserung der Effizienz beim Protokoll-Onboarding, der Skalierbarkeit der Pipeline, der Rationalisierung der Servicekosten und der effektiven Verwaltung der Protokollspeicherung muss dabei Rechnung getragen werden.
Das DnR-Team hat eine bestehende Pipeline zum Sammeln von Sicherheitsprotokollen von globalen Hyperforce-Instanzen in AWS entwickelt und bereitgestellt. Aufgrund der Vielfalt und Heterogenität der Sicherheitsprotokolltypen haben wir einen Divide-and-Conquer-Ansatz angewendet, um verschiedene Protokollsammelmechanismen für verschiedene Protokolltypen zu entwickeln. So nutzen wir beispielsweise die CloudWatch-basierte Protokollsammlung, die S3 Storage-basierte Protokollsammlung, die Lambda-basierte Protokollsammlung, die Kinesis-basierte Protokollsammlung, die MSK-basierte Protokollsammlung usw. Da das Protokollvolumen exponentiell ansteigt, können die Komplexität und Effizienz unserer Protokollsammelmechanismen eine Herausforderung darstellen.
Um eine Protokollsammlung in großem Umfang in Hyperforce zu lösen, wollen wir eine konvergente Architektur ermöglichen, die mehrere Protokollquellen unterstützt, einen skalierbaren ETL-Prozess ermöglicht, eine genaue Schemaverwaltung realisiert, Protokollanalysen/-abfragen unterstützt und die durchgängige Beobachtbarkeit der gesamten Pipeline bietet.
Sicherheitsereignisse in großem Umfang mit Amazon Security Lake
Amazon Security Lake ist ein Service, der die Sicherheitsdaten eines Unternehmens automatisch in einem eigens angelegten Data Lake im AWS-Konto eines Kunden zentralisiert. Er ermöglicht es Unternehmenskunden wie Salesforce, sicherheitsbezogene Protokoll- und Ereignisdaten in großem Umfang zentral zu aggregieren, zu verwalten und zu nutzen. Er konsolidiert auf einfache Weise Sicherheitsprotokolle und -ereignisse aus AWS, vor Ort und von anderen Cloud-Anbietern.
Das erfolgt durch Automatisierung der Sammlung sicherheitsbezogener Protokoll- und Ereignisdaten aus integrierten AWS-Services und Drittanbieterquellen, Verwaltung des Lebenszyklus dieser Daten mit anpassbaren Aufbewahrungseinstellungen, Rollup in bevorzugte AWS-Regionen sowie Umwandlung dieser Daten in ein Open-Source-Standardformat namens Open Cybersecurity Schema Framework (OCSF). Wir können dann die Sicherheitsdaten, die in Amazon Security Lake gespeichert und abgerufen werden, für die Reaktion auf Vorfälle und die Analyse von Sicherheitsdaten verwenden.
Salesforce DnR hatte die Gelegenheit, mit der Beta-Version von Amazon Security Lake zu experimentieren, und hat dabei mehrere Vorteile identifiziert. Amazon Security Lake eignet sich gut dafür, native AWS-Protokolle (z. B. CloudTrail-Protokoll, VPC Flow-Protokoll, Route53 Resolver-Protokoll) zu sammeln und umzuwandeln. Nach der Umwandlung kann das Protokoll direkt im OCSF-Schema und Parquet-Datenformat verwendet werden.
- Zentrale Verwaltung der Protokollsammlung für Accounts unter einer AWS-Organisation: Amazon Security Lake bietet die zentrale Verwaltung der Sicherheitsprotokollsammlung für AWS-Konten. Die Protokollsammlung ist einfach und unkompliziert. Was früher Tage und Wochen in Anspruch nahm, dauert jetzt nur wenige Stunden.
- Vielfältige Sicherheitsprotokollquellen: Amazon Security Lake unterstützt eine ganze Reihe von nativen AWS-Protokollen wie CloudTrail-Protokoll, VPC Flow-Protokoll, Route53 Resolver-Protokoll usw. Darüber hinaus werden OCSF-konforme Anbieterprotokolle unterstützt.
- Automatischer ETL-Prozess zur Umwandlung von Protokollen in ein OCSF-Schema: Amazon Security Lake führt automatische ETL-Aufträge aus, um Protokolldaten in ein spezifisches OCSF-Schema umzuwandeln. Außerdem sind Daten im Parquet-Format im Amazon Security Lake S3-Bucket leicht nutzbar.
- Effektive Protokollpartitionierung und regionales Rollup: Amazon Security Lake bietet ein Rollup von Protokolldaten in bestimmte Regionen, die bei der Verwaltung von Protokolldaten in unserer globalen Infrastruktur helfen können. Die Protokolldaten werden genau nach Protokollquelle, Region, Account-ID und Stunde des Ereignisses partitioniert.
- Unterstützung der Aufnahme von benutzerdefinierten Protokollquellen: Kundenprotokolldaten können in Amazon Security Lake aufgenommen werden, solange die Kundenprotokolldaten OCSF-konform sind. Dadurch entsteht ein einheitlicher Data Lake zur Verwaltung der nativen Sicherheitsprotokolle von AWS und der Salesforce-eigenen Protokolldaten.
- Integrationsunterstützung für andere Services: Amazon Security Lake unterstützt die Integration mit anderen Services wie Athena, Splunk usw. Mit verschiedenen Abfragemodulen können wir ganz einfach die Protokolldaten in Amazon Security Lake durchsuchen und Analyseaufträge ausführen.
Innovation trifft auf Vertrauen
Die Einführung von Amazon Security Lake hilft uns letztendlich dabei, anspruchsvolle Aufgaben wie Protokollsammlung, -umwandlung, -aggregation, -suche und -verwaltung zu bewältigen. Der Service passt optimal zu Salesforce Hyperforce in AWS und ergänzt die eigene Datenpipeline von DnR. Darüber hinaus sind die Protokollaggregation und das regionale Rollup von Amazon Security Lake vollständig auf die globale, dezentrale und hybride Data-Lake-Infrastruktur von DnR abgestimmt.
Wir sind begeistert über das Potenzial von Amazon Security Lake in Bezug auf die Integration mit anderen OCSF-Konsortiumsmitgliedern und die Zusammenführung aller Sicherheitsprotokolldaten unter einem Dach. Wir gehen davon aus, dass wir mit Amazon Security Lake 30 % bis 50 % des Datenverkehrs unserer eigenen Datenpipeline auslagern, den Zeitaufwand für das Onboarding von Protokollen erheblich reduzieren und die Protokollabdeckung erhöhen können werden. Außerdem werden wir den Sicherheitsstatus von Salesforce weiter verbessern und unseren Fokus auf Vertrauen und Innovation verstärken.
Dieser Post wurde von Mitgliedern des Detection and Response (DnR) Engineering-Teams von Salesforce verfasst:
Lei Ye, Software Engineering Architect, Detection & Response (DnR) Engineering, konzentriert sich auf Innovationen bei Datenverarbeitungspipelines, Data Lake und Abfragemodul für DnR und anderen sicherheitsbezogenen Infrastrukturproblemen. Er hat die technische Leitung des Amazon Security Lake-Projekts von Salesforce inne. Er hat den Entwurf für die Data-Lake-Infrastruktur der nächsten Generation von DnR erarbeitet und die Zusammenarbeit zwischen Organisationen und Teams vorangetrieben.
Ajith Jayamohan, Vice President of Detection & Response (DnR) Engineering, leitet die Teams für maschinelles Lernen und KI-gestützte Datenplattformen bei Salesforce, deren Fokus darauf liegt, interne und externe Angreifer oder Bedrohungsakteure zu erkennen und auf sie zu reagieren, um Salesforce und seine Kunden zu schützen.