Administrateurs de bases de données etl

3

Les ANALYSES VACUUM régulières sont-elles toujours recommandées sous 9.1?

J'utilise PostgreSQL 9.1 sur Ubuntu. Sont-ils VACUUM ANALYZEtoujours recommandés ou l’autovacuum suffit-il pour répondre à tous les besoins? Si la réponse est "ça dépend", alors: J'ai une base de données assez longue (taille de dump compressée de 30 Go, répertoire de données de 200 Go) Je fais l'ETL dans la …

38 postgresql etl vacuum

4

Quelle est une façon évolutive de simuler des HASHBYTES à l'aide d'une fonction scalaire SQL CLR?

Dans le cadre de notre processus ETL, nous comparons les lignes du transfert par rapport à la base de données de rapports pour déterminer si l'une des colonnes a réellement changé depuis le dernier chargement des données. La comparaison est basée sur la clé unique de la table et une …

29 sql-server sql-server-2016 etl sql-clr hashing

5

Comment exécuter un gros script avec de nombreuses insertions sans manquer de mémoire?

Question: J'ai un script avec environ 45 000 insertions de déclarations sélectionnées. Lorsque j'essaye de l'exécuter, j'obtiens un message d'erreur indiquant que je n'ai plus de mémoire. Comment puis-je exécuter ce script? Le contexte: Ajout de nouveaux champs de données pour rendre une application agréable avec une autre application utilisée …

28 sql-server sql-server-2005 etl

7

Y a-t-il un ETL Open Source / gratuit? [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour les administrateurs de base de données Stack Exchange. Fermé il y a 4 ans . J'utilisais Pentaho Data Integration avant même …

26 etl

3

Quels sont les arguments en faveur de l'utilisation du processus ELT sur ETL?

J'ai réalisé que mon entreprise utilise un processus ELT (extraction-transformation-charge) au lieu d'utiliser un processus ETL (extraction-transformation-charge). Quelles sont les différences entre les deux approches et dans quelles situations l'une serait-elle "meilleure" que l'autre? Ce serait formidable si vous pouviez fournir quelques exemples.

19 data-warehouse etl business-intelligence

4

Un moyen rapide de valider deux tables l'une par rapport à l'autre

Nous faisons un processus ETL. En fin de compte, il y a un tas de tableaux qui devraient être identiques. Quelle est la manière la plus rapide de vérifier que ces tables (sur deux serveurs différents) sont bien identiques. Je parle à la fois de schéma et de données. Puis-je …

12 sql-server sql-server-2008-r2 etl except

2

ETL: extraire de 200 tables - Flux de données SSIS ou T-SQL personnalisé?

Sur la base de mon analyse, un modèle dimensionnel complet pour notre entrepôt de données nécessitera l'extraction de plus de 200 tables source. Certaines de ces tables seront extraites dans le cadre d'une charge incrémentielle et d'autres seront une charge complète. A noter, nous avons environ 225 bases de données …

12 sql-server sql-server-2005 ssis data-warehouse etl

2

PostgreSQL pour les transactions à volume élevé et pour l'entreposage de données

Je suis assez nouveau sur PostgreSQL, je n'ai jamais fait de déploiement important en l'utilisant auparavant. Mais, j'ai une bonne expérience dans les solutions d'entreprise et je veux essayer d'appliquer une partie de ce que j'ai appris en utilisant PostgreSQL. J'ai un site qui est dimensionné pour gérer un grand …

11 postgresql data-warehouse etl

4

Existe-t-il un langage / une interface standard pour l'ETL programmatique dans SQL Server?

Je suis actuellement en train de créer des ETL pour notre entrepôt de données. Nous utilisons SSIS 2008, mais nous rencontrons des problèmes, dont le plus important est la difficulté de réutiliser les composants. Nous avons des packages séparés pour chaque table et chaque package prend en entrée un certain …

10 sql-server etl

6

Modélisation dimensionnelle et ETL dans Redshift

J'ai fait des recherches sur la base de données Redshift d'Amazon en tant que futur remplacement possible de notre entrepôt de données. Mon expérience a toujours consisté à utiliser la modélisation dimensionnelle et les méthodes de Ralph Kimball, il était donc un peu étrange de voir que Redshift ne prend …

9 etl dimensional-modeling redshift

Questions marquées «etl»