Documentation du Job
Generated by Talend Open Studio for Data Integration


Nom du projetBDD_PhytoDate de génération3 sept. 2012 14:04:09
Créé par :alain.benard@nancy.inra.frTalend Open Studio VERSION 5.0.0.r72978

Summary

Description du projet
Description
Preview Picture
Paramètres
Liste des contextes
Liste des composants
Description du composant


Description du projet


PropriétésValeurs
NomBDD_Phyto
Languejava
Description
Base de données Phyto écologie (Floristique - Dendro(s) - Sol)


Description


PropriétésValeurs
Nombdnff5
Créé par :alain.benard@nancy.inra.fr
Version1.0
ObjectifIntégration des espèces de la BDNFF 5
StatutPROD
Description
ajoutbidon Alimentation de la table des espèces à partir du fichier excel de la base de données BDNFF. Ce tableau présen
te les caractéristiques suivantes :• La colonne 'Calc.: Nom valide' comporte le nom officiel s'il y a des synonymes
• S'il n'y a pas de synonyme la colonne 'Aff.: CombNom si Valide' comporte le nom officiel
• La colonne 'D:n° nomenclatural'comporte un identifiant pour chaque ligne (des trous dans la séquence indiquent certain
ement des suppressions par rapport à une version plus ancienne)• La colonne 'D:n° taxonomique' identifie un nom officiel (pas de synonyme ou 'Aff.: CombNom si Valide')
Le job intégrera uniquement les noms officiels pour lesquels le champ 'D:n° taxonomique' est renseigné. Ceci exclu les s
ynonymes ainsi que les espèces sans 'D:n° taxonomique' renseigné (espèces pour lesquelles la colonne 'Calc: doute du nom
valide' est généralement renseignée ainsi que la colonne 'Aff.: égal synonyme' avec une valeur débutant par #). Excepté
l'identifiant taxonomique 30442 qui n'est pas pris en compte par le traitement et l'identifiant taxonomique 37465 qui c
omporte des doublons sur le champ 'Aff.: CombNom si Valide' l'ensemble des identifiants taxonomiques correspond à une et
une seule valeur du champ 'Aff.: CombNom si Valide' - c'est donc le champ 'Aff.: CombNom si Valide' qui sera utilisé co
mme nom d'espèce.
Création6 janv. 2011 14:51:24
Modification3 sept. 2012 10:27:02

Preview Picture


No image available
tConvertType_2tFileInputExcel_1tMap_1tPostgresqlCommit_1tPostgresqlConnection_1tPostgresqlOutput_1tUniqRow_2

Paramètres

Paramètres supplémentaires

NomValeur
COMP_DEFAULT_FILE_DIRD:/tos/TOS_DI-Win32-r72978-V5.0.0/workspace
Exécution multi threadfalse
tContextLoad implicitefalse


Stats & Logs

NomValeur
Utiliser les statistiques (tStatCatcher)false
Utiliser les logs (tLogCatcher)false
Utiliser les volumes (tFlowMeterCatcher)false
Dans la consolefalse
Dans des fichiersfalse
Dans la base de donnéesfalse
Capturer les statistiques des composantsfalse
Capturer les erreurs de l'exécutabletrue
Capturer les erreurs de l'utilisateurtrue
Capturer les alertes à l'utilisateurtrue


Liste des contextes

Contexte :Default

NomPromptNeed Prompt?TypeValeurSource
dossier_basedossier_base?falseid_StringnullCTX_Chemins
fichierbdnfffichierbdnff?falseid_StringnullCTX_Chemins
fichiernum_taxo_doublonfichiernum_taxo_doublon?falseid_StringnullCTX_Chemins
fichiernum_taxo_nullfichiernum_taxo_null?falseid_StringnullCTX_Chemins
sous_dossier_logsous_dossier_log?falseid_StringnullCTX_Chemins
sous_dossier_modelessous_dossier_modeles?falseid_StringnullCTX_Chemins
sous_dossier_tmpsous_dossier_tmp?falseid_StringnullCTX_Chemins
DB_Phyto_DatabaseDB_Phyto_Database?falseid_String
DB_Phyto_LoginDB_Phyto_Login?falseid_String
DB_Phyto_PasswordDB_Phyto_Password?trueid_Password******
DB_Phyto_PortDB_Phyto_Port?falseid_String
DB_Phyto_SchemaDB_Phyto_Schema?falseid_String
DB_Phyto_ServerDB_Phyto_Server?falseid_String
id_flore_origineid_flore_origine?falseid_IntegerVariables


Contexte :production

NomPromptNeed Prompt?TypeValeurSource
dossier_basedossier_base?falseid_String//mandragore/phyto/BDD/base_phyto/floristiqueCTX_Chemins
fichierbdnfffichierbdnff?falseid_StringD:/projets/BDD Phyto/codifications/bdnffv5.xlsxCTX_Chemins
fichiernum_taxo_doublonfichiernum_taxo_doublon?falseid_String//mandragore/phyto/bdd/base_phyto/floristique/integration/log/doublon_numtaxo.csvCTX_Chemins
fichiernum_taxo_nullfichiernum_taxo_null?falseid_String//mandragore/phyto/bdd/base_phyto/floristique/integration/log/num_taxo_null.csvCTX_Chemins
sous_dossier_logsous_dossier_log?falseid_String/Integration/logCTX_Chemins
sous_dossier_modelessous_dossier_modeles?falseid_String/ModelesCTX_Chemins
sous_dossier_tmpsous_dossier_tmp?falseid_String/Integration/tmpCTX_Chemins
DB_Phyto_DatabaseDB_Phyto_Database?falseid_Stringdb_phyto
DB_Phyto_LoginDB_Phyto_Login?falseid_Stringalbenard
DB_Phyto_PasswordDB_Phyto_Password?trueid_Password******
DB_Phyto_PortDB_Phyto_Port?falseid_String5432
DB_Phyto_SchemaDB_Phyto_Schema?falseid_Stringpublic
DB_Phyto_ServerDB_Phyto_Server?falseid_Stringpggeodb.nancy.inra.fr
id_flore_origineid_flore_origine?falseid_Integer5Variables


Contexte :test

NomPromptNeed Prompt?TypeValeurSource
dossier_basedossier_base?falseid_StringD:/tos/donnees/bdd_phyto/globalCTX_Chemins
fichierbdnfffichierbdnff?falseid_StringD:/projets/BDD Phyto/codifications/bdnffv5.xlsxCTX_Chemins
fichiernum_taxo_doublonfichiernum_taxo_doublon?falseid_StringD:/projets/BDD Phyto/codifications/doublon_numtaxo.csvCTX_Chemins
fichiernum_taxo_nullfichiernum_taxo_null?falseid_StringD:/projets/BDD Phyto/codifications/log/num_taxo_null.csvCTX_Chemins
sous_dossier_logsous_dossier_log?falseid_String/Integration/logCTX_Chemins
sous_dossier_modelessous_dossier_modeles?falseid_String/ModelesCTX_Chemins
sous_dossier_tmpsous_dossier_tmp?falseid_String/Integration/tmpCTX_Chemins
DB_Phyto_DatabaseDB_Phyto_Database?falseid_Stringdb_phyto
DB_Phyto_LoginDB_Phyto_Login?falseid_Stringadmin
DB_Phyto_PasswordDB_Phyto_Password?trueid_Password******
DB_Phyto_PortDB_Phyto_Port?falseid_String5432
DB_Phyto_SchemaDB_Phyto_Schema?falseid_Stringpublic
DB_Phyto_ServerDB_Phyto_Server?falseid_Stringbdd.nancy.inra.fr
id_flore_origineid_flore_origine?falseid_Integer5Variables




Liste des composants

Nom du composantType de composant
tConvertType_2tConvertType
tFileInputExcel_1tFileInputExcel
tMap_1tMap
tPostgresqlCommit_1tPostgresqlCommit
tPostgresqlConnection_1tPostgresqlConnection
tPostgresqlOutput_1tPostgresqlOutput
tUniqRow_2tUniqRow

Description du composant

Composant :   tConvertType

      UNIQUE NAMEtConvertType_2INPUT(S)tMap_1
LibelléConversionOUTPUT(S)tUniqRow_2

Paramètres du composant :
PropriétésValeurs
Activertrue
Statistiques du tStatCatcherfalse
!!!IN_SCHEMA.NAME!!!
Conversion automatiquetrue
Définir les valeurs vides comme Null avant de convertirfalse
Terminer en cas d'erreurfalse
Afficher les informationstrue
CommentaireCe composant convertit le champ numérique num_taxonomique (fichier BDNFF) en chaîne de caractère pour respecter le type du champ cible de la base de données.
Utiliser une règle de validation existantefalse

Schéma detConvertType_2 :
ColumnCléTypeLongueurPrécisionNullableCommentaire
nom_especefalseString256true
id_orifalseIntegertrue
num_taxonomiquefalseString6true

Original Function Parameters:
Composant :   tFileInputExcel

      UNIQUE NAMEtFileInputExcel_1INPUT(S)tPostgresqlConnection_1
Libellébdnff5OUTPUT(S)tMap_1

Paramètres du composant :
PropriétésValeurs
Activertrue
Statistiques du tStatCatcherfalse
Lire un fichier au format excel2007 (xlsx)true
Nom de fichier/Fluxcontext.fichierbdnff
Toutes les feuillestrue
En-tête1
Pied-de-page0
Limite
Affecte chaque feuille (en-tête et pied de page)false
Première colonne1
Dernière colonne
Terminer en cas d'erreurfalse
Séparateur avancé (pour les nombres)false
Supprimer les espaces en début et en fin de champ dans toutes les colonnesfalse
Sélectionnez la colonne dans laquelle vous voulez supprimer les espaces entourant les champscolumn name="Liste des composants">tPostgresqlConnection_1</column> <column name="Table">"tr_espece_esp"</column> <column name="Action sur la table">NONE</column> <column name="Action sur les données">INSERT</column> <column name="Schéma"></column> <column name="Terminer en cas d'erreur">false</column> <column name="Colonnes supplémentaires">[]</column> <column name="Utiliser les options des champs">false</column> <column name="Activer le mode débogage">false</column> <column name="Supporter des valeurs null dans la clause &quot;WHERE SQL&quot;">false</column> M=false}, {SCHEMA_COLUMN=Aff___Valide__Comb_et_Annee_et_Source, TRIM=false}, {SCHEMA_COLUMN=Aff___egal_synonyme, TRIM=false}, {SCHEMA_COLUMN=Calc___Classif__et_Famille, TRIM=false}, {SCHEMA_COLUMN=Calc___egal_Nom_valide, TRIM=false}, {SCHEMA_COLUMN=calc__Basionyme, TRIM=false}, {SCHEMA_COLUMN=Calc__doute_du_nom_valide, TRIM=false}, {SCHEMA_COLUMN=Calc__Formule_d_hybridation, TRIM=false}, {SCHEMA_COLUMN=Cle_de_tri__Genre, TRIM=false}, {SCHEMA_COLUMN=CombNomen, TRIM=false}, {SCHEMA_COLUMN=D_Annee, TRIM=false}, {SCHEMA_COLUMN=D_Auteur_principal, TRIM=false}, {SCHEMA_COLUMN=D_Basionyme, TRIM=false}, {SCHEMA_COLUMN=D_Doute_nom_valide, TRIM=false}, {SCHEMA_COLUMN=D_Espece, TRIM=false}, {SCHEMA_COLUMN=D_Genre, TRIM=false}]
Encodage"UTF-8"
Terminer la lecture sur ligne videfalse
Afficher les informationsfalse
Commentaire
Utiliser une règle de validation existantefalse

Schéma demetadata :
ColumnCléTypeLongueurPrécisionNullableCommentaire
Calc___Nom_et_reference_bibliofalseString512true
Nom_binomialfalseString256true
nom_validefalseString256true
nom_completfalseString256true
num_nomenclaturaltrueInteger6true
num_taxonomiquefalseInteger6true
D_StatutfalseInteger2true
I_CombNomenNewfalseString256true
I_Rang_taxonomiquefalseInteger6true
D_Num_nom_validefalseInteger6true
Aff___CombNomValide_et_form_HybrfalseString256true
Aff___Subsp_InvalidefalseString256true
Aff___Subsp_ValidefalseString256true
Aff___Syn___Comb_et_Annee_et_SourcefalseString256true
Aff___Valide__Comb_et_Annee_et_SourcefalseString256true
Aff___egal_synonymefalseString256true
Calc___Classif__et_FamillefalseString256true
Calc___egal_Nom_validefalseString256true
calc__BasionymefalseString256true
Calc__doute_du_nom_validefalseString128true
Calc__Formule_d_hybridationfalseString128true
Cle_de_tri__GenrefalseString64true
CombNomenfalseString128true
D_AnneefalseStringtrue
D_Auteur_principalfalseString64true
D_BasionymefalseString8true
D_Doute_nom_validefalseStringtrue
D_EspecefalseStringtrue
D_GenrefalseStringtrue

Original Function Parameters:
Composant :   tPostgresqlCommit

      UNIQUE NAMEtPostgresqlCommit_1INPUT(S)tPostgresqlOutput_1
LibelléCommit transactionOUTPUT(S)none

Paramètres du composant :
PropriétésValeurs
Activertrue
Statistiques du tStatCatcherfalse
Liste des composantstPostgresqlConnection_1
Fermer la connexiontrue
Afficher les informationsfalse
CommentaireCommit de la transaction d'insertion des espèces.
Utiliser une règle de validation existantefalse

Schéma detPostgresqlCommit_1 :
ColumnCléTypeLongueurPrécisionNullableCommentaire

Original Function Parameters:
Composant :   tPostgresqlConnection

      UNIQUE NAMEtPostgresqlConnection_1INPUT(S)none
LibelléDB_PhytoOUTPUT(S)tFileInputExcel_1

Paramètres du composant :
PropriétésValeurs
Activertrue
Statistiques du tStatCatcherfalse
Hôtecontext.DB_Phyto_Server
Portcontext.DB_Phyto_Port
Base de donnéescontext.DB_Phyto_Database
Schémacontext.DB_Phyto_Schema
Utilisateurcontext.DB_Phyto_Login
Mot de passecontext.DB_Phyto_Password
Utiliser ou enregistrer une connexion partagée à une base de donnéesfalse
Commit automatiquefalse
Afficher les informationsfalse
Commentaire
Utiliser une règle de validation existantefalse


Original Function Parameters:
Composant :   tPostgresqlOutput

      UNIQUE NAMEtPostgresqlOutput_1INPUT(S)tUniqRow_2
Libellétr_espece_espOUTPUT(S)tPostgresqlCommit_1

Paramètres du composant :
PropriétésValeurs
Activertrue
Statistiques du tStatCatcherfalse
Utiliser une connexion existantetrue
Liste des composantstPostgresqlConnection_1
Table"tr_espece_esp"
Action sur la tableNONE
Action sur les donnéesINSERT
Schéma
Terminer en cas d'erreurfalse
Colonnes supplémentaires[]
Utiliser les options des champsfalse
Activer le mode débogagefalse
Supporter des valeurs null dans la clause "WHERE SQL"false
Utiliser la taille des lotstrue
Taille des lots10000
Afficher les informationstrue
CommentaireTable des espèces de la base de données
Utiliser une règle de validation existantefalse

Schéma detPostgresqlOutput_1 :
ColumnCléTypeLongueurPrécisionNullableCommentaire
nom_especefalseString256true
id_orifalseIntegertrue
num_taxonomiquefalseString6true

Original Function Parameters:
Composant :   tUniqRow

      UNIQUE NAMEtUniqRow_2INPUT(S)tConvertType_2
Libellé__UNIQUE_NAME__OUTPUT(S)tPostgresqlOutput_1

Paramètres du composant :
PropriétésValeurs
Activertrue
Statistiques du tStatCatcherfalse
Clé unique[{CASE_SENSITIVE=false, KEY_ATTRIBUTE=false, SCHEMA_COLUMN=nom_espece}, {CASE_SENSITIVE=false, KEY_ATTRIBUTE=false, SCHEMA_COLUMN=id_ori}, {CASE_SENSITIVE=false, KEY_ATTRIBUTE=true, SCHEMA_COLUMN=num_taxonomique}]
Seulement une fois chaque clé dupliquéefalse
Utiliser le disque (convient au traitement d'un grand nombre de lignes)false
Afficher les informationsfalse
Commentaire
Utiliser une règle de validation existantefalse

Schéma detUniqRow_2 :
ColumnCléTypeLongueurPrécisionNullableCommentaire
nom_especefalseString256true
id_orifalseIntegertrue
num_taxonomiquefalseString6true

Original Function Parameters:
Composant :   tMap

      UNIQUE NAMEtMap_1INPUT(S)tFileInputExcel_1
LibelléExtraction noms officielsOUTPUT(S)tConvertType_2