Documentation du Job | |
Generated by Talend Open Studio for Data Integration |
Nom du projet | analyse_composant | Date de génération | 4 sept. 2012 11:44:39 |
Créé par : | alain.benard@nancy.inra.fr | Talend Open Studio VERSION | 5.0.0.r72978 |
Propriétés | Valeurs |
---|---|
Nom | analyse_composant |
Langue | java |
Description | Ce projet comporte des jobs permettant d'analyser quels sont les composants utilisés pour les différents jobs de différents projets d'un workspace. |
Propriétés | Valeurs |
---|---|
Nom | ajoute_lien_aide |
Créé par : | alain.benard@nancy.inra.fr |
Version | 0.1 |
Objectif | Enrichir le fichier listant les composants |
Statut | |
Description | Recherche un fichier d'aide pour chaque job et ajoute l'url vers l'aide au sein du fichier listant les composant par job |
Création | 30 août 2012 09:35:56 |
Modification | 4 sept. 2012 09:07:37 |
Paramètres supplémentaires |
Nom | Valeur |
---|---|
COMP_DEFAULT_FILE_DIR | D:/tos/TOS_DI-Win32-r72978-V5.0.0/workspace |
Exécution multi thread | false |
tContextLoad implicite | false |
Stats & Logs |
Nom | Valeur |
---|---|
Utiliser les statistiques (tStatCatcher) | false |
Utiliser les logs (tLogCatcher) | false |
Utiliser les volumes (tFlowMeterCatcher) | false |
Dans la console | false |
Dans des fichiers | false |
Dans la base de données | false |
Capturer les statistiques des composants | false |
Capturer les erreurs de l'exécutable | true |
Capturer les erreurs de l'utilisateur | true |
Capturer les alertes à l'utilisateur | true |
Contexte :Default |
Nom | Prompt | Need Prompt? | Type | Valeur | Source |
---|---|---|---|---|---|
cheminweb | cheminweb? | false | id_String | null | chemins |
fichier_listing | fichier_listing? | false | id_String | null | chemins |
fichier_listing_aide | fichier_listing_aide? | false | id_String | null | chemins |
liste_workspaces | liste_workspaces? | false | id_String | chemins | |
urlweb | urlweb? | false | id_String | null | chemins |
Contexte :test |
Nom | Prompt | Need Prompt? | Type | Valeur | Source |
---|---|---|---|---|---|
cheminweb | cheminweb? | false | id_String | /data/webdav | chemins |
fichier_listing | fichier_listing? | false | id_String | D:\tos\donnees\analyse_composant\listing_compos.csv | chemins |
fichier_listing_aide | fichier_listing_aide? | false | id_String | D:\tos\donnees\analyse_composant\listing_compos_aide.csv | chemins |
liste_workspaces | liste_workspaces? | false | id_String | D:\tos\donnees\analyse_composant\listing_workspaces.csv | chemins |
urlweb | urlweb? | false | id_String | https://appgeodb.nancy.inra.fr/donnees | chemins |
Contexte :production |
Nom | Prompt | Need Prompt? | Type | Valeur | Source |
---|---|---|---|---|---|
cheminweb | cheminweb? | false | id_String | /data/webdav | chemins |
fichier_listing | fichier_listing? | false | id_String | D:\tos\donnees\analyse_composant\listing_compos.csv | chemins |
fichier_listing_aide | fichier_listing_aide? | false | id_String | D:\tos\donnees\analyse_composant\listing_compos_aide.csv | chemins |
liste_workspaces | liste_workspaces? | false | id_String | D:\tos\donnees\analyse_composant\listing_workspaces.csv | chemins |
urlweb | urlweb? | false | id_String | https://appgeodb.nancy.inra.fr/donnees | chemins |
Nom du composant | Type de composant |
---|---|
tFileInputDelimited_1 | tFileInputDelimited |
tFileOutputDelimited_1 | tFileOutputDelimited |
tIterateToFlow_3 | tIterateToFlow |
tMap_1 | tMap |
tMap_5 | tMap |
tMap_7 | tMap |
tSCPFileList_1 | tSCPFileList |
Composant : tFileInputDelimited |
UNIQUE NAME | tFileInputDelimited_1 | INPUT(S) | none | |
Libellé | Fichier Sortie Listing | OUTPUT(S) | tMap_5 |
Propriétés | Valeurs |
---|---|
Activer | true |
Statistiques du tStatCatcher | false |
!!!FILENAMETEXT.NAME!!! | "When the input source is a stream or a zip file,footer and random shouldn't be bigger than 0." |
Nom de fichier/Flux | context.fichier_listing |
Séparateur de lignes | "\n" |
Séparateur de champs | ";" |
Options CSV | false |
En-tête | 1 |
Pied-de-page | 0 |
Limite | |
Ignorer les lignes vides | true |
Décompresser en tant que fichier zip | false |
Terminer en cas d'erreur | false |
Séparateur avancé (pour les nombres) | false |
Extraire les lignes aléatoirement | false |
Supprimer les espaces en début et en fin de champ dans toutes les colonnes | false |
Sélectionnez la colonne dans laquelle vous voulez supprimer les espaces entourant les champs | [{SCHEMA_COLUMN=projet_nom, TRIM=false}, {SCHEMA_COLUMN=projet_workspace, TRIM=false}, {SCHEMA_COLUMN=projet_commentaire, TRIM=false}, {SCHEMA_COLUMN=job_nom, TRIM=false}, {SCHEMA_COLUMN=job_commentaire, TRIM=false}, {SCHEMA_COLUMN=composant, TRIM=false}, {SCHEMA_COLUMN=nombre, TRIM=false}] |
Vérifier la structure de toutes les lignes par rapport au schéma | false |
Vérifier la date | false |
Encodage | "ISO-8859-15" |
Séparer les lignes avant le champ | false |
Afficher les informations | false |
Commentaire | Fichier contenant les compoosants utilisés par projet/job. (issu du traitement par le job 'Listing_composants'). |
Utiliser une règle de validation existante | false |
Column | Clé | Type | Longueur | Précision | Nullable | Commentaire |
---|---|---|---|---|---|---|
projet_nom | false | String | true | |||
projet_workspace | false | String | true | |||
projet_commentaire | false | String | true | |||
job_nom | false | String | true | |||
job_commentaire | false | String | true | |||
composant | false | String | true | |||
nombre | false | Integer | true |
Composant : tFileOutputDelimited |
UNIQUE NAME | tFileOutputDelimited_1 | INPUT(S) | tMap_7 | |
Libellé | Listing enrichi | OUTPUT(S) | none |
Propriétés | Valeurs |
---|---|
Activer | true |
Statistiques du tStatCatcher | false |
Use Output Stream | false |
Nom de fichier | context.fichier_listing_aide |
Séparateur de lignes | "\n" |
Séparateur de champs | ";" |
Ecrire après | false |
Inclure l'en-tête | true |
Compresser en tant que fichier zip | false |
Séparateur avancé (pour les nombres) | false |
Options CSV | false |
Créer le répertoire s'il n'existe pas | true |
Diviser la sortie dans plusieurs fichiers | false |
Personnaliser la taille de la mémoire utilisée pour stocker temporairement les données | false |
Sortie en mode ligne | false |
Encodage | "ISO-8859-15" |
Ne pas générer de fichier vide | false |
Afficher les informations | false |
Commentaire | Fichier contenant les composants utilisés par projet/job ainsi que l'url vers la documentation du job si celle-ci est trouvée. |
Utiliser une règle de validation existante | false |
Column | Clé | Type | Longueur | Précision | Nullable | Commentaire |
---|---|---|---|---|---|---|
projet_nom | false | String | true | |||
projet_workspace | false | String | true | |||
projet_commentaire | false | String | true | |||
job_nom | false | String | true | |||
job_commentaire | false | String | true | |||
composant | false | String | true | |||
nombre | false | Integer | true | |||
url_aide | false | String | true |
Composant : tIterateToFlow |
UNIQUE NAME | tIterateToFlow_3 | INPUT(S) | tSCPFileList_1 | |
Libellé | __UNIQUE_NAME__ | OUTPUT(S) | tMap_1 |
Propriétés | Valeurs |
---|---|
Activer | true |
Statistiques du tStatCatcher | false |
Mapping | [{VALUE=((String)globalMap.get("tSCPFileList_1_CURRENT_LINE")), SCHEMA_COLUMN=fichier}] |
Afficher les informations | false |
Commentaire | Repasse le flux en mode itération |
Utiliser une règle de validation existante | false |
Column | Clé | Type | Longueur | Précision | Nullable | Commentaire |
---|---|---|---|---|---|---|
fichier | false | String | true |
Composant : tSCPFileList |
UNIQUE NAME | tSCPFileList_1 | INPUT(S) | none | |
Libellé | Listing SCP | OUTPUT(S) | tIterateToFlow_3 |
Propriétés | Valeurs |
---|---|
Activer | true |
Statistiques du tStatCatcher | false |
Utiliser une connexion existante | false |
Hôte | "appgeodb.nancy.inra.fr" |
Port | 22 |
Utilisateur | "root" |
Méthode d'authentification | PASSWORD |
Mot de passe | "{gdbo;08!" |
Séparateur de commande | ":" |
Liste des fichiers | [{SOURCE="find " + context.cheminweb + " |grep .html$"}] |
Afficher les informations | false |
Commentaire | Composant listant le contenu d'un dossier via le protocole SCP. L'arborescence de ce dossier est susceptible de contenir la documentation des jobs. |
Utiliser une règle de validation existante | false |
Composant : tMap |
UNIQUE NAME | tMap_1 | INPUT(S) | tIterateToFlow_3 | |
Libellé | Extrait info web | OUTPUT(S) | tMap_7 |
Composant : tMap |
UNIQUE NAME | tMap_5 | INPUT(S) | tFileInputDelimited_1 | |
Libellé | Ajout HTML | OUTPUT(S) | tMap_7 |
Composant : tMap |
UNIQUE NAME | tMap_7 | INPUT(S) | tMap_1, tMap_5 | |
Libellé | url_aide | OUTPUT(S) | tFileOutputDelimited_1 |