Globale Swift-Codes extrahieren & Bankdatenerfassung optimieren
Die manuelle Sammlung globaler Bank-Swift-Codes ist ein mühsamer und fehleranfälliger Prozess, der effiziente Finanzoperationen behindert. Dieser Workflow automatisiert vollständig die Extraktion umfassender Swift-Code-Daten von Webseiten und füllt Ihre Datenbank mit genauen Bankinformationen für jedes Land.
Documentation
Globale Swift-Codes extrahieren & Bankdatenerfassung optimieren
Dieser leistungsstarke n8n-Workflow scrapt systematisch Bank-Swift-Codes, Namen, Städte und Filialen von der Webseite theswiftcodes.com. Er verwaltet Paginierung auf Länder- und Seitenebene, normalisiert Länderdaten mit uProc und speichert alle extrahierten Informationen effizient in einer MongoDB-Datenbank. Dies stellt sicher, dass Sie ohne manuellen Aufwand ein umfassendes und stets aktuelles Repository globaler Bank-Swift-Codes pflegen.
Hauptfunktionen
- Automatisiertes Web-Scraping: Extrahiert effizient Bank-Swift-Codes und zugehörige Details von einer Zielwebseite.
- Länderdaten-Normalisierung: Nutzt uProc zur Standardisierung von Ländernamen und ISO-Codes für Konsistenz.
- Umgang mit Paginierung: Navigiert automatisch durch mehrere Seiten innerhalb jedes Landes, um alle verfügbaren Daten zu erfassen.
- Robuste Datenspeicherung: Fügt extrahierte und normalisierte Daten nahtlos in eine MongoDB-Datenbank ein.
- Lokaler Cache für Effizienz: Speichert lokal gescrapte HTML-Seiten, um redundante HTTP-Anfragen zu vermeiden und Wiederholungen zu beschleunigen.
Funktionsweise
Der Workflow beginnt mit der Erstellung eines lokalen Verzeichnisses für den Cache. Anschließend ruft er eine Liste aller Länder von der Hauptkategorieseite der Zielwebseite ab. Jedes Land wird einzeln verarbeitet. Für jedes Land verwendet der Workflow uProc, um den Ländernamen zu normalisieren und den ISO-Code zu ermitteln. Danach versucht er, die Swift-Code-Daten für dieses Land abzurufen. Um Leistung zu optimieren und die Serverlast zu reduzieren, prüft er zunächst, ob der HTML-Inhalt für die spezifische URL bereits lokal im Cache vorhanden ist. Falls ja, liest er aus dem Cache; andernfalls führt er eine neue HTTP-Anfrage aus, lädt das HTML herunter und speichert es im lokalen Cache. Der Workflow extrahiert dann Banknamen, Swift-Codes, Städte und Filialen aus dem HTML. Sind für ein bestimmtes Land mehrere Seiten mit Swift-Codes vorhanden, erkennt der Workflow automatisch die nächste Seite und navigiert dorthin, um den Extraktionsprozess zu wiederholen. Abschließend werden alle extrahierten und normalisierten Daten strukturiert und mit Erstellungs- und Aktualisierungszeitstempeln in eine festgelegte MongoDB-Sammlung eingefügt. Dieser Prozess läuft so lange weiter, bis alle Swift-Codes aller Länder und deren Seiten gesammelt wurden.