Categories: All - données - nettoyage - connexion - synchronisation

by Gaucher Antonin 27 days ago

60

Déroulement Synchronisation Globale

Ce texte traite d'un processus complexe de synchronisation de données entre plusieurs environnements, en mettant l'accent sur la gestion des paramètres et la vérification des connexions.

Déroulement
Synchronisation Globale

Déroulement Synchronisation Globale

Post Sync

Nettoyage du serveur synchroDb
Nettoyage de l'host
Renommage de WRK en RCT
Lancement de l'analyse
Mise à jour de properties_tech
Exécution des sql post synchronisation

Sync

Rapatriement des données de RCT
Restauration des données de RCT

Restore constraint list EXP

Restore structure list EXP

Restore data list EXP

Dump d'EXP (tables à importer de RCT) + édition des listes (data + structure + constraints)

Suppression des tables à importer de RCT dans WORK

Création des schémas manquant dans WORK

Réouverture des connexions à EXP
Renommage de RCT en EXP
Blocage des connexions à RCT

Suppression des connexions à RCT

Limitation des connexions à 0

Rapatriement des données de PROD
Suppression des tables à ne pas reprendre de PROD dans WORK (cf fichier de config)
Récupération des tables a reprendre de RCT (cf fichier de config)
Restore constraints list
Restore data list
Restore structure list
Création base nomDb_WORK

Pre-Sync

Séparation de la schema list
Edition constraints list
Edition structure list
Edition de la schema list du dump
Suppression des données à ne pas reprendre de prod de la data list
Récupération des régles de gestion des données dans manage_tables (base synchroDB) -> édition du fichier de config
Edition de la data list du dump
Récupération du nombre de processeurs de l'host
Copie du dump de PROD sur l'host

Requirements

Test de connexion S3
Test espace disponible sur l'host
Test de connexion machine host
Récupération des infos du dump (chemin S3, acces et secret keys, endpoint)
Récupération du nom de la base de PROD
Récupération nom bases, hosts, libellés type d'env
test

Param Management

Reprise sur erreur
OFF
ON
Date du dump
Log Level
ERROR
DEBUG
NORMAL
Demandeur
Environnement
Code Client
Type de synchonisation
PARAM
GLOBAL
Numéro du job jenkins
Nom du job jenkins