Documentation générée

	Documentation du Job
	Generated by Talend Open Studio for Data Integration

Nom du projet	BDD_Phyto	Date de génération	3 sept. 2012 14:04:10
Créé par :	alain.benard@nancy.inra.fr	Talend Open Studio VERSION	5.0.0.r72978

Summary

Description du projet

Description

Preview Picture

Paramètres

Liste des contextes

Liste des composants

Description du composant

Description du projet

Propriétés	Valeurs
Nom	BDD_Phyto
Langue	java
Description	Base de données Phyto écologie (Floristique - Dendro(s) - Sol)

Description

Propriétés	Valeurs
Nom	bryophyte_europe
Créé par :	alain.benard@nancy.inra.fr
Version	1.0
Objectif	Intégration des espèces de la liste des bryophytes (2008 en version 1.0 du job) dans la table des espèces (tr_espece_esp) de la base db_phyto
Statut	PROD
Description	Alimentation de la table des espèces à partir du fichier excel de la liste des bryophytes 2008 (BDNBE v.1 Cécile Lemonni er - Idiotaxon version 19/02/2008) . Ce tableau présente les caractéristiques suivantes :• La colonne NOMEN (2° colonne) représente l'identifiant dans la BDNBE et alimentera le champ esp_identifiant_ext permet tant la traçabilité au sein de la source des données• La 4° colonne contient le nom de la bryophyte qui alimentera le champ nom de la table des espèces dans la base db_phyt Le job intégrera l'ensemble des lignes (2496). Avant l'utilisation de ce job il convient de créer un enregistrement dans la table tr_origine_ori de la base db_phyto re présentant la BDNBE 2008. L'identifiant numérique de cet enregistrement doit être fourni au contexte du job (valeur du c hamp ori_id à placer dans la variable de context id_flore_origine)
Création	21 févr. 2011 09:21:11
Modification	3 sept. 2012 10:27:33

Preview Picture

Paramètres

Paramètres supplémentaires

Nom	Valeur
COMP_DEFAULT_FILE_DIR	D:/tos/TOS_DI-Win32-r72978-V5.0.0/workspace
Exécution multi thread	false
tContextLoad implicite	false

Stats & Logs

Nom	Valeur
Utiliser les statistiques (tStatCatcher)	false
Utiliser les logs (tLogCatcher)	false
Utiliser les volumes (tFlowMeterCatcher)	false
Dans la console	false
Dans des fichiers	false
Dans la base de données	false
Capturer les statistiques des composants	false
Capturer les erreurs de l'exécutable	true
Capturer les erreurs de l'utilisateur	true
Capturer les alertes à l'utilisateur	true

Liste des contextes

Contexte :Default

Nom	Prompt	Need Prompt?	Type	Valeur	Source
fichierbdnbe	fichierbdnbe?	false	id_String	null	CTX_Chemins
fichiernum_taxo_doublon	fichiernum_taxo_doublon?	false	id_String	null	CTX_Chemins
DB_Phyto_Database	DB_Phyto_Database?	false	id_String
DB_Phyto_Login	DB_Phyto_Login?	false	id_String
DB_Phyto_Password	DB_Phyto_Password?	true	id_Password	******
DB_Phyto_Port	DB_Phyto_Port?	false	id_String
DB_Phyto_Schema	DB_Phyto_Schema?	false	id_String
DB_Phyto_Server	DB_Phyto_Server?	false	id_String
id_flore_origine	id_flore_origine?	false	id_Integer		Variables

Contexte :production

Nom	Prompt	Need Prompt?	Type	Valeur	Source
fichierbdnbe	fichierbdnbe?	false	id_String	//mandragore/phyto/bdd/base_phyto/floristique/flores/Liste_des_bryophytes_d'Europe_2008.xls	CTX_Chemins
fichiernum_taxo_doublon	fichiernum_taxo_doublon?	false	id_String	//mandragore/phyto/bdd/base_phyto/floristique/integration/log/doublon_numtaxo.csv	CTX_Chemins
DB_Phyto_Database	DB_Phyto_Database?	false	id_String	db_phyto
DB_Phyto_Login	DB_Phyto_Login?	false	id_String	albenard
DB_Phyto_Password	DB_Phyto_Password?	true	id_Password	******
DB_Phyto_Port	DB_Phyto_Port?	false	id_String	5432
DB_Phyto_Schema	DB_Phyto_Schema?	false	id_String	public
DB_Phyto_Server	DB_Phyto_Server?	false	id_String	pggeodb.nancy.inra.fr
id_flore_origine	id_flore_origine?	false	id_Integer	5	Variables

Contexte :test

Nom	Prompt	Need Prompt?	Type	Valeur	Source
fichierbdnbe	fichierbdnbe?	false	id_String	//mandragore/phyto/bdd/base_phyto/floristique/flores/Liste_des_bryophytes_d'Europe_2008.xls	CTX_Chemins
fichiernum_taxo_doublon	fichiernum_taxo_doublon?	false	id_String	D:/projets/BDD Phyto/codifications/doublon_numtaxo.csv	CTX_Chemins
DB_Phyto_Database	DB_Phyto_Database?	false	id_String	db_phyto
DB_Phyto_Login	DB_Phyto_Login?	false	id_String	admin
DB_Phyto_Password	DB_Phyto_Password?	true	id_Password	******
DB_Phyto_Port	DB_Phyto_Port?	false	id_String	5432
DB_Phyto_Schema	DB_Phyto_Schema?	false	id_String	public
DB_Phyto_Server	DB_Phyto_Server?	false	id_String	bdd.nancy.inra.fr
id_flore_origine	id_flore_origine?	false	id_Integer	5	Variables

Contexte :avignon

Nom	Prompt	Need Prompt?	Type	Valeur	Source
dossier_base	dossier_base?	false	id_String	D:/tos/donnees/geonetavignon/global
sous_dossier_tmp	sous_dossier_tmp?	false	id_String	/Integration/tmp
sous_dossier_modeles	sous_dossier_modeles?	false	id_String	/Modeles
sous_dossier_log	sous_dossier_log?	false	id_String	/Integration/log
fichierbdnff	fichierbdnff?	false	id_String	D:/projets/BDD Phyto/codifications/bdnffv5.xlsx
fichiernum_taxo_null	fichiernum_taxo_null?	false	id_String	D:/projets/BDD Phyto/codifications/log/num_taxo_null.csv
fichiernum_taxo_doublon	fichiernum_taxo_doublon?	false	id_String	D:/projets/BDD Phyto/codifications/doublon_numtaxo.csv
fichiergenres	fichiergenres?	false	id_String	D:/projets/BDD Phyto/codifications/Dictionnaire_des_noms_de_genres_utf8.dic
fichiergenre_bddseul	fichiergenre_bddseul?	false	id_String	D:/projets/BDD Phyto/codifications/rejet_genresbddseul.csv
fichiergenre_dicoseul	fichiergenre_dicoseul?	false	id_String	D:/projets/BDD Phyto/codifications/rejet_genresdicoseul.csv
fichierbdnbe	fichierbdnbe?	false	id_String	//mandragore/phyto/bdd/base_phyto/floristique/Liste_des_bryophytes_d'Europe_2008.xls
DB_Phyto_Password	DB_Phyto_Password?	true	id_Password	******	DB_Phyto
DB_Phyto_Login	DB_Phyto_Login?	false	id_String	admin	DB_Phyto
DB_Phyto_Database	DB_Phyto_Database?	false	id_String	db_phyto	DB_Phyto
DB_Phyto_Server	DB_Phyto_Server?	false	id_String	bdd.nancy.inra.fr	DB_Phyto
DB_Phyto_Port	DB_Phyto_Port?	false	id_String	5432	DB_Phyto
DB_Phyto_Schema	DB_Phyto_Schema?	false	id_String	public	DB_Phyto

Liste des composants

Nom du composant	Type de composant
tFileInputExcel_1	tFileInputExcel
tFileOutputDelimited_1	tFileOutputDelimited
tLogRow_1	tLogRow
tMap_1	tMap
tPostgresqlCommit_1	tPostgresqlCommit
tPostgresqlConnection_1	tPostgresqlConnection
tPostgresqlOutput_1	tPostgresqlOutput
tUniqRow_3	tUniqRow

Description du composant

Composant : tFileInputExcel

	UNIQUE NAME	tFileInputExcel_1	INPUT(S)	tPostgresqlConnection_1
	Libellé	bdnde 1.0	OUTPUT(S)	tMap_1, tLogRow_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Lire un fichier au format excel2007 (xlsx)	false
Nom de fichier/Flux	context.fichierbdnbe
Toutes les feuilles	false
Liste des feuilles	[{USE_REGEX=, SHEETNAME="Liste 2008 et Classification"}]
En-tête	3
Pied-de-page	0
Limite
Affecte chaque feuille (en-tête et pied de page)	false
Première colonne	1
Dernière colonne
Terminer en cas d'erreur	false
Séparateur avancé (pour les nombres)	false
Supprimer les espaces en début et en fin de champ dans toutes les colonnes	false
Sélectionnez la colonne dans laquelle vous voulez supprimer les espaces entourant les champs	[{SCHEMA_COLUMN=Taxo, TRIM=false}, {SCHEMA_COLUMN=Nomen, TRIM=false}, {SCHEMA_COLUMN=Catminat, TRIM=false}, {SCHEMA_COLUMN=espece, TRIM=false}, {SCHEMA_COLUMN=Annee, TRIM=false}, {SCHEMA_COLUMN=Famille, TRIM=false}, {SCHEMA_COLUMN=Sous_ordre, TRIM=false}, {SCHEMA_COLUMN=Ordre, TRIM=false}, {SCHEMA_COLUMN=Super_Ordre, TRIM=false}, {SCHEMA_COLUMN=Sous_Classe, TRIM=false}, {SCHEMA_COLUMN=Classe, TRIM=false}, {SCHEMA_COLUMN=Embranchement, TRIM=false}]
Encodage	"ISO-8859-1"
Lire les valeurs réelles pour les nombres	false
Terminer la lecture sur ligne vide	false
Ne pas valider les cellules	false
Ignorer l'avertissement	false
Afficher les informations	false
Commentaire	Fichier Excel des Bryophytes d'Europe (2008). Téléchargeable sur le site http://www.tela-botanica.org.
Utiliser une règle de validation existante	false

Schéma demetadata :

Column	Clé	Type	Longueur	Nullable
Taxo	false	String	5	true
Nomen	false	String	6	true
Catminat	false	String	13	true
espece	false	String	255	true
Annee	false	String	11	true
Famille	false	String	16	true
Sous_ordre	false	String	16	true
Ordre	false	String	15	true
Super_Ordre	false	String	8	true
Sous_Classe	false	String	15	true
Classe	false	String	17	true
Embranchement	false	String	15	true

Original Function Parameters:

Composant : tFileOutputDelimited

	UNIQUE NAME	tFileOutputDelimited_1	INPUT(S)	tUniqRow_3
	Libellé	Doublons Num_Taxo	OUTPUT(S)	none

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Use Output Stream	false
Nom de fichier	context.fichiernum_taxo_doublon
Séparateur de lignes	"\n"
Séparateur de champs	";"
Ecrire après	false
Inclure l'en-tête	false
Compresser en tant que fichier zip	false
Séparateur avancé (pour les nombres)	false
Options CSV	false
Créer le répertoire s'il n'existe pas	true
Diviser la sortie dans plusieurs fichiers	false
Personnaliser la taille de la mémoire utilisée pour stocker temporairement les données	false
Sortie en mode ligne	false
Encodage	"ISO-8859-15"
Ne pas générer de fichier vide	false
Afficher les informations	false
Commentaire	Fichier de log des num_taxonomique en doublons. Dans la version 1.0 de la BDNBE il n'y a aucun doublon.
Utiliser une règle de validation existante	false

Schéma detFileOutputDelimited_1 :

Column	Clé	Type	Longueur	Nullable
nom_espece	false	String	255	true
id_ori	false	Integer		true
num_taxonomique	false	String	8	true

Original Function Parameters:

Composant : tLogRow

	UNIQUE NAME	tLogRow_1	INPUT(S)	tFileInputExcel_1
	Libellé	__UNIQUE_NAME__	OUTPUT(S)	none

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Basique	true
Tableau (afficher les valeurs dans les cellules d'un tableau)	false
Vertical (chaque ligne est une liste de clé/valeur)	false
Séparateur de champs	"\|"
Imprimer l'en-tête	false
Afficher le nom unique du composant en face de chaque ligne de sortie	false
Affiche le nom des colonnes du schéma en face de chaque valeur	false
Utiliser une longueur fixe pour les valeurs	false
Afficher les informations	false
Commentaire	Console pour les messages de rejet en cas de problème sur le fichier Excel.
Utiliser une règle de validation existante	false

Schéma demetadata :

Column	Clé	Type	Longueur	Nullable
Taxo	false	String	5	true
Nomen	false	String	6	true
Catminat	false	String	13	true
espece	false	String	255	true
Annee	false	String	11	true
Famille	false	String	16	true
Sous_ordre	false	String	16	true
Ordre	false	String	15	true
Super_Ordre	false	String	8	true
Sous_Classe	false	String	15	true
Classe	false	String	17	true
Embranchement	false	String	15	true
errorCode	false	String	255	true
errorMessage	false	String	255	true

Original Function Parameters:

Composant : tPostgresqlCommit

	UNIQUE NAME	tPostgresqlCommit_1	INPUT(S)	tPostgresqlOutput_1
	Libellé	Commit transaction	OUTPUT(S)	none

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Liste des composants	tPostgresqlConnection_1
Fermer la connexion	true
Afficher les informations	false
Commentaire	Commit de la transaction d'insertion des espèces.
Utiliser une règle de validation existante	false

Schéma detPostgresqlCommit_1 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire

Original Function Parameters:

Composant : tPostgresqlConnection

	UNIQUE NAME	tPostgresqlConnection_1	INPUT(S)	none
	Libellé	DB_Phyto	OUTPUT(S)	tFileInputExcel_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Hôte	context.DB_Phyto_Server
Port	context.DB_Phyto_Port
Base de données	context.DB_Phyto_Database
Schéma	context.DB_Phyto_Schema
Utilisateur	context.DB_Phyto_Login
Mot de passe	context.DB_Phyto_Password
Utiliser ou enregistrer une connexion partagée à une base de données	false
Commit automatique	false
Afficher les informations	true
Commentaire	Connexion à la base db_phyto
Utiliser une règle de validation existante	false

Original Function Parameters:

Composant : tPostgresqlOutput

	UNIQUE NAME	tPostgresqlOutput_1	INPUT(S)	tUniqRow_3
	Libellé	tr_espece_esp	OUTPUT(S)	tPostgresqlCommit_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Utiliser une connexion existante	true
Liste des composants	tPostgresqlConnection_1
Table	"tr_espece_esp"
Action sur la table	NONE
Action sur les données	INSERT
Schéma
Terminer en cas d'erreur	false
Colonnes supplémentaires	[]
Utiliser les options des champs	false
Activer le mode débogage	false
Supporter des valeurs null dans la clause "WHERE SQL"	false
Utiliser la taille des lots	true
Taille des lots	10000
Afficher les informations	true
Commentaire	Table des espèces de la base de données
Utiliser une règle de validation existante	false

Schéma detPostgresqlOutput_1 :

Column	Clé	Type	Longueur	Nullable
nom_espece	false	String	255	true
id_ori	false	Integer		true
num_taxonomique	false	String	8	true

Original Function Parameters:

Composant : tUniqRow

	UNIQUE NAME	tUniqRow_3	INPUT(S)	tMap_1
	Libellé	Doublons Num_Txo	OUTPUT(S)	tPostgresqlOutput_1, tFileOutputDelimited_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Clé unique	[{CASE_SENSITIVE=false, KEY_ATTRIBUTE=false, SCHEMA_COLUMN=nom_espece}, {CASE_SENSITIVE=false, KEY_ATTRIBUTE=false, SCHEMA_COLUMN=id_ori}, {CASE_SENSITIVE=false, KEY_ATTRIBUTE=true, SCHEMA_COLUMN=num_taxonomique}]
Seulement une fois chaque clé dupliquée	false
Utiliser le disque (convient au traitement d'un grand nombre de lignes)	false
Afficher les informations	true
Commentaire	Supprime les doublons sur le champ num_taxonomique
Utiliser une règle de validation existante	false

Schéma detUniqRow_3 :

Column	Clé	Type	Longueur	Nullable
nom_espece	false	String	255	true
id_ori	false	Integer		true
num_taxonomique	false	String	8	true

Original Function Parameters:

Composant : tMap

	UNIQUE NAME	tMap_1	INPUT(S)	tFileInputExcel_1
	Libellé	Extraction informations BDNBE	OUTPUT(S)	tUniqRow_3