Découverte d’Amazon Security Lake

L’équipe Détection et réponse de Salesforce a eu l’occasion de tester le nouveau Amazon Security Lake. Voici ce que nous avons découvert sur ses avantages potentiels pour les clients professionnels qui souhaitent regrouper, gérer et utiliser de manière centralisée les données des journaux et des événements liées à la sécurité à grande échelle.
Découverte d’Amazon Security Lake

Chez Salesforce, la confiance est notre principale valeur : rien n’est plus important que la sécurité et la confidentialité des données des clients. Notre plate-forme Customer 360 connecte les données des équipes marketing, des ventes, commerciales, de service et informatiques autour de chaque client afin qu’elles puissent collaborer tout en stimulant la productivité, en améliorant l’efficacité et en réduisant les coûts.  

Pour soutenir la croissance de notre clientèle mondiale, nous fournissons désormais Customer 360 sur une infrastructure propriétaire et via Hyperforce, une nouvelle architecture d’infrastructure qui permet à Salesforce de monter en puissance rapidement et en toute sécurité à l’aide de partenaires du Cloud public, notamment d’AWS et de ses dernières innovations en matière de sécurité. 

Résolution de la collecte de journaux à grande échelle sur Hyperforce

L’équipe Détection et réponse (DnR) est essentielle pour sécuriser l’infrastructure de Salesforce, détecter les activités de menaces malveillantes et réagir rapidement aux événements de sécurité. Pour ce faire, nous collectons et inspectons des pétaoctets de journaux de sécurité dans des dizaines d’organisations, certaines comportant des milliers de comptes. 

À mesure que les instances, les comptes et les services Hyperforce se développent, l’équipe DnR est mise au défi d’améliorer l’efficacité et l’évolutivité de notre pipeline de données et de notre lac de données. Il faut tenir compte des tâches chronophages telles que la réduction de la latence d’ingestion des journaux, l’amélioration de l’efficacité de l’intégration des journaux, l’évolutivité du pipeline, la rationalisation des coûts des services et la gestion efficace du stockage des journaux. 

L’équipe DnR a conçu et déployé un pipeline existant pour collecter les journaux de sécurité des instances mondiales Hyperforce sur AWS. En raison de la diversité et de l’hétérogénéité des types de journaux de sécurité, nous avons appliqué une approche de type « diviser pour mieux régner », afin de créer des mécanismes de collecte de journaux distincts en fonction des différents types de journaux. Nous utilisons par exemple la collecte de journaux reposant sur CloudWatch, sur le stockage S3, sur Lambda, sur Kinesis, sur MSK, etc. À mesure de la croissance exponentielle du volume des journaux, les mécanismes de collecte de journaux peuvent devenir difficiles à gérer.

Pour faire face à une collecte de journaux à grande échelle sur Hyperforce, nous souhaitons mettre en place une architecture convergente qui prend en charge plusieurs sources de journaux, permet un processus d’ETL évolutif, permet une gestion précise des schémas, aide à enregistrer les analyses/requêtes et garantit la possibilité d’observer de bout en bout l’ensemble du pipeline.

Événements de sécurité à grande échelle avec Amazon Security Lake

Amazon Security Lake est un service qui centralise automatiquement les données de sécurité d’une organisation dans un lac de données créé spécialement dans le compte AWS du client. Il permet aux clients grands comptes tels que Salesforce d’agréger, de gérer et d’utiliser de manière centralisée les données des journaux et des événements liés à la sécurité à grande échelle. Il consolide facilement les journaux de sécurité et les événements provenant d’AWS, du site et d’autres fournisseurs de Cloud. 

Pour ce faire, il automatise la collecte de données de journaux et d’événements liées à la sécurité à partir des services AWS intégrés et des sources tierces. Il gère également le cycle de vie de ces données avec des paramètres de conservation personnalisables et les transfère aux régions AWS de prédilection, et il convertit ces données en un format open source standard appelé OCSF(Open Cybersecurity Schema Framework). Nous pouvons ensuite utiliser les données de sécurité stockées et disponibles dans Amazon Security Lake pour répondre aux incidents et les analyser.

L’équipe DnR de Salesforce a eu l’occasion de tester la version bêta d’Amazon Security Lake et, ce faisant, a identifié plusieurs de ses avantages. Amazon Security Lake est efficace pour collecter et convertir les journaux natifs d’AWS (par exemple, journal CloudTrail, journal de flux VPC, journal Route 53 Resolver). Après conversion, le journal est directement consommable dans le schéma OCSF et le format de données Parquet.

  • Gestion de la collecte de journaux avec guichet unique pour les comptes sous une organisation AWS : Amazon Security Lake offre une gestion centralisée de la collecte des journaux de sécurité sur les comptes AWS. Nous pouvons facilement activer directement la collecte de journaux, ce qui permet de réduire à quelques heures ce qui nécessitait auparavant des jours et des semaines de travail.
  • Sources abondantes de journaux de sécurité : Amazon Security Lake prend en charge une liste de journaux natifs AWS tels que le journal CloudTrail, le journal de flux VPC, le journal Route 53 Resolver, etc. Il prend en outre en charge des journaux de fournisseurs qui respectent le format OCSF.
  • Processus ETL automatique pour convertir le journal avec le schéma OCSF : Amazon Security Lake exécute des tâches ETL automatiques pour transformer les données de journal en schéma OCSF spécifique et rend facilement consommables les données au format Parquet dans le compartiment S3 Amazon Security Lake.
  • Partitionnement efficace des journaux et cumul régional : Amazon Security Lake fournit un cumul des données de journaux dans des régions précisées qui peuvent aider à gérer les données de journaux dans notre infrastructure mondiale. Les données de journal sont bien partitionnées par source de journal, région, ID de compte et heure d’événement.
  • Prise en charge de l’ingestion de source de journal personnalisée : les données de journal client peuvent être ingérées dans le lac de données de sécurité Amazon Security Lake tant que ces données respectent le format OCSF. Un lac de données unifié est ainsi créé pour gérer les journaux de sécurité natifs d’AWS et les propres données de journal Salesforce.
  • Prise en charge de l’intégration pour d’autres services : Amazon Security Lake offre un bon support pour l’intégration avec d’autres services, tels qu’Athena, Splunk, etc. Nous pouvons facilement rechercher et exécuter des tâches d’analyse sur les données de journal Amazon Security Lake avec plusieurs moteurs de requête.

Quand l’innovation rencontre la confiance

En fin de compte, en adoptant Amazon Security Lake, nous arrivons vraiment à réaliser plus facilement certaines tâches lourdes qui concernent la collecte, la conversion, le regroupement, la recherche et la gestion des journaux. L’outil s’intègre bien à Salesforce Hyperforce sur AWS et complète le propre pipeline de données de l’équipe DnR. De plus, l’agrégation de journaux Amazon Security Lake et le déploiement régional s’harmonisent intégralement avec l’infrastructure de lac de données mondiale, décentralisée et hybride de DnR.

Nous sommes ravis du potentiel qu’a Amazon Security Lake de s’intégrer aux membres tiers du consortium OCSF et de rassembler toutes les données des journaux de sécurité dans un même endroit. Nous prévoyons qu’Amazon Security Lake permettra de décharger 30 % à 50 % du trafic de notre propre pipeline de données, réduira considérablement le temps d’intégration de nos journaux et augmentera la couverture des journaux. Nous renforcerons ainsi encore la sécurité de Salesforce, ce qui permettra de mettre encore plus l’accent sur la confiance et l’innovation.

Cet article a été rédigé par des membres de l’équipe d’ingénierie du service Détection et réponse (DnR) de Salesforce :

Lei Ye, architecte en génie logiciel, équipe ingénierie Détection et réponse (DnR), s’intéresse aux pipelines innovants de traitement des données, au lac de données et au moteur de requête pour l’équipe DnR, ainsi qu’à d’autres problèmes liés à la sécurité des infrastructures. Il est le responsable technique du projet Amazon Security Lake de Salesforce. Il a conçu le plan de projet de l’infrastructure de lac de données de nouvelle génération de l’équipe DnR et a piloté la collaboration entre les organisations et les équipes.

Ajith Jayamohan, vice-président, équipe d’ingénierie Détection et réponse (DnR), dirige les équipes d’apprentissage automatique et de plate-forme de données reposant sur l’IA au sein de Salesforce, qui s’intéressent à la détection et la réponse aux assaillants internes et externes et aux acteurs malveillants pour protéger Salesforce et ses clients.



Témoignages à découvrir