Leistungsoptimierung für AEM Assets
Hochleistungsanforderung für die digitale Asset-Verarbeitung
In enger Zusammenarbeit mit dem Partner Adobe hat pro!vision – ein Tochterunternehmen der diva-e – über die Jahre verschiedene Produkterweiterungen für AEM-Endkunden entwickelt. So hat diva-e in 2016 im Auftrag von Adobe Custom Engineering eine drastische Kapazitätssteigerung bei der Verarbeitung von digitalen Assets in AEM 6.3 und 6.2 erreicht. Mit dem sogenannten Performance Feature Pack (PFP) wurde AEM und das Content Repository für extrem große Datenmengen fit gemacht. Eine Kundenanforderung bestand darin, 600 TB an Asset-Daten (InDesign und PDF) auf weltweit verteilten Instanzen abzulegen und aufwendig nachzubearbeiten. Die Steigerung der DAM Asset-Kapazität stellte eine große technische Herausforderung dar. Bei der Lösung der Aufgabe konnte Adobe auf das technische Know-how der diva-e Experten zurückgreifen, um die Anforderungen an Leistungsoptimierung, Skalierbarkeit und Zuverlässigkeit zu erfüllen. Da mit dem Projekt neue Kundensegmente erschlossen werden konnten, war das Projekt für Adobe von großer strategischer Bedeutung.
Ziel
Signifikante Kapazitätssteigerung
Die Aufgabe für die diva-e Experten bestand darin, die Ziel-Metriken des Adobe Kunden zu erfüllen. Die Asset-Verarbeitung, Upload-Geschwindigkeit und andere Bereiche sollten auch bei großen Datenmengen nicht beeinträchtigt werden. Dazu sollte zunächst eine skalierbare Testumgebung aufgesetzt werden. Im zweiten Schritt sollte die Möglichkeit geschaffen werden, die geforderten Datenmengen erfolgreich hochladen und nachbearbeiten zu können. Dabei sollten eventuell auftauchende Performance Probleme soweit behoben werden, dass zukünftig ein performantes Arbeiten mit den geforderten Asset Typen und Mengen sichergestellt werden konnte.
Umsetzung
Leistung, Skalierbarkeit, Verfügbarkeit
Für die Umsetzung der Kundenanforderung waren verschiedene Implementierungs- und Testaktivitäten erforderlich.
Upload und Verarbeitung von 150 TB Assets in AEM Assets mit Workflows und automatischer InDesign File Extraction in höchster Geschwindigkeit
Vollautomatisches Aufsetzen von AEM und Oak Clustern in der AWS Cloud mit dem Open-Source Automatisierungswerkzeug Ansible und Speicherung der Binärdaten in S3 Cloud Store
Aufsetzen von mehreren Clustern in weltweit verteilten AWS Regionen mit Cross-Region-Replikation
Generierung der Testdaten Batches
Automatisieren und Monitoring des Asset Uploads mit einem Technologiestack, bestehend aus ElasticSearch, LogStash, und Kibana sowie das Messen der KPIs
Ermitteln optimierter Repository-Statistiken mit BigData-Ansätzen (Apache Spark)
Festlegen der optimalen Konfiguration für AWS, AEM und Repository
Engpässe im AEM Produkt und der Plattform (Jackrabbit Oak, Apache Sling) wurden analysiert und behoben
Ergebnis
Starke Leistung von AEM Assets
Die AEM Version 6.3 wurde in Hinblick auf die Skalierbarkeit beim Asset-Upload und Asset-Verarbeitung erheblich verbessert.
In Form eines kundenspezifischen Feature Packs wurden diese Verbesserungen auch für die Vorgängerversion AEM 6.2 verfügbar gemacht (Backporting). Viele Engpässe in Apache Jackrabbit Oak und Sling sowie im AEM Produkt wurden behoben. Um die Kundenanforderungen zu erfüllen, baute diva-e ein geeignetes Testszenario auf. Die aus AEM Clustern und MongoDB-Clustern bestehenden AEM Umgebungen wurden in der AWS Cloud gehostet. Das Setup des Clusters wurde stark automatisiert, um sehr schnell neue Testinstanzen aufsetzen zu können. Zu Testzwecken wurden umfangreiche InDesign Testdateien erzeugt. Dabei ging die Verarbeitung der InDesign-Dateien über den reinen Upload großer Datenmengen hinaus. Bei der Aufnahme in das Daten Repository wurden die InDesign-Dateien zusätzlich analysiert und die darin enthaltenen Assets strukturiert abgelegt.
Es gelang diva-e dabei eine für den Benutzer akzeptable Geschwindigkeit zu erreichen, selbst wenn weltweit eine Vielzahl von Benutzern parallel am System arbeiteten.