Documentation générée

	Documentation du Job
	Generated by Talend Open Studio for Data Integration

Nom du projet	analyse_composant	Date de génération	4 sept. 2012 11:44:40
Créé par :	alain.benard@nancy.inra.fr	Talend Open Studio VERSION	5.0.0.r72978

Summary

Description du projet

Description

Preview Picture

Paramètres

Liste des contextes

Liste des composants

Description du composant

Description du projet

Propriétés	Valeurs
Nom	analyse_composant
Langue	java
Description	Ce projet comporte des jobs permettant d'analyser quels sont les composants utilisés pour les différents jobs de différents projets d'un workspace. L'intérêt est de pouvoir retrouver rapidement dans quel job un composant d'un type particuier a déjà été utilisé.

Propriétés

Valeurs

Nom

analyse_composant

Langue

java

Description

Ce projet comporte des jobs permettant d'analyser quels sont les composants utilisés pour les différents jobs de différents projets d'un workspace.
L'intérêt est de pouvoir retrouver rapidement dans quel job un composant d'un type particuier a déjà été utilisé.

Description

Propriétés	Valeurs
Nom	listing_composants
Créé par :	alain.benard@nancy.inra.fr
Version	0.1
Objectif	Lister les composants des jobs trouvés.
Statut	TEST
Description	Ce job analyse un dossier workspace passé en variable de contexte pour y trouver tous les projets au sein desquels il a nalysera tous les jobs en fournissant un listing des différents types de composants utilisés.
Création	28 août 2012 11:54:37
Modification	4 sept. 2012 11:21:28

Preview Picture

Paramètres

Paramètres supplémentaires

Nom	Valeur
COMP_DEFAULT_FILE_DIR	D:/tos/TOS_DI-Win32-r72978-V5.0.0/workspace
Exécution multi thread	false
tContextLoad implicite	false

Stats & Logs

Nom	Valeur
Utiliser les statistiques (tStatCatcher)	false
Utiliser les logs (tLogCatcher)	false
Utiliser les volumes (tFlowMeterCatcher)	false
Dans la console	false
Dans des fichiers	false
Dans la base de données	false
Capturer les statistiques des composants	false
Capturer les erreurs de l'exécutable	true
Capturer les erreurs de l'utilisateur	true
Capturer les alertes à l'utilisateur	true

Liste des contextes

Contexte :Default

Nom	Prompt	Need Prompt?	Type	Valeur	Source
cheminweb	cheminweb?	false	id_String	null	chemins
fichier_listing	fichier_listing?	false	id_String	null	chemins
liste_workspaces	liste_workspaces?	false	id_String		chemins
urlweb	urlweb?	false	id_String	null	chemins

Contexte :production

Nom	Prompt	Need Prompt?	Type	Valeur	Source
cheminweb	cheminweb?	false	id_String	/data/webdav	chemins
fichier_listing	fichier_listing?	false	id_String	D:\tos\donnees\analyse_composant\listing_compos.csv	chemins
liste_workspaces	liste_workspaces?	false	id_String	D:\tos\donnees\analyse_composant\listing_workspaces.csv	chemins
urlweb	urlweb?	false	id_String	https://appgeodb.nancy.inra.fr/donnees	chemins

Contexte :test

Nom	Prompt	Need Prompt?	Type	Valeur	Source
cheminweb	cheminweb?	false	id_String	/data/webdav	chemins
fichier_listing	fichier_listing?	false	id_String	D:\tos\donnees\analyse_composant\listing_compos.csv	chemins
liste_workspaces	liste_workspaces?	false	id_String	D:\tos\donnees\analyse_composant\listing_workspaces.csv	chemins
urlweb	urlweb?	false	id_String	https://appgeodb.nancy.inra.fr/donnees	chemins

Liste des composants

Nom du composant	Type de composant
tAggregateRow_2	tAggregateRow
tFileDelete_1	tFileDelete
tFileInputDelimited_1	tFileInputDelimited
tFileInputXML_2	tFileInputXML
tFileInputXML_3	tFileInputXML
tFileInputXML_6	tFileInputXML
tFileList_2	tFileList
tFileList_3	tFileList
tFileOutputDelimited_1	tFileOutputDelimited
tFileProperties_2	tFileProperties
tFileProperties_3	tFileProperties
tFlowToIterate_1	tFlowToIterate
tFlowToIterate_3	tFlowToIterate
tFlowToIterate_6	tFlowToIterate
tFlowToIterate_8	tFlowToIterate
tMap_1	tMap
tMap_4	tMap
tMap_9	tMap
tPrejob_2	tPrejob

Description du composant

Composant : tAggregateRow

	UNIQUE NAME	tAggregateRow_2	INPUT(S)	tMap_9
	Libellé	compte composants	OUTPUT(S)	tFileOutputDelimited_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Group by	[{INPUT_COLUMN=projet_nom, OUTPUT_COLUMN=projet_nom}, {INPUT_COLUMN=projet_workspace, OUTPUT_COLUMN=projet_workspace}, {INPUT_COLUMN=projet_commentaire, OUTPUT_COLUMN=projet_commentaire}, {INPUT_COLUMN=job_nom, OUTPUT_COLUMN=job_nom}, {INPUT_COLUMN=job_commentaire, OUTPUT_COLUMN=job_commentaire}, {INPUT_COLUMN=composant, OUTPUT_COLUMN=composant}]
Opérations	[{IGNORE_NULL=false, FUNCTION=count, INPUT_COLUMN=projet_nom, OUTPUT_COLUMN=nombre}]
Délimiteur (seulement pour les opérations de liste)	","
Utilise une précision financière, précision maximale pour les opérations "sum" et "avg", si cochée, utilisera plus de mémoire et sera plus lent.	true
Validation du type (plus lent)	false
Vérification ULP (Unité en dernière location), assure que la valeur est incrémentée ou décrémentée correctement, seulement pour les types float ou double. (plus lent)	false
Afficher les informations	false
Commentaire	Agrège l'information pour fournir le nombre d'occurences d'un composant de type donné utilisé par un job. (par exemple 3 tmap pour le job 'Test_Tmap_0.1').
Utiliser une règle de validation existante	false

Schéma detAggregateRow_2 :

Column	Clé	Type	Nullable
projet_nom	false	String	true
projet_workspace	false	String	true
projet_commentaire	false	String	true
job_nom	false	String	true
job_commentaire	false	String	true
composant	false	String	true
nombre	false	Integer	true

Original Function Parameters:

Composant : tFileDelete

	UNIQUE NAME	tFileDelete_1	INPUT(S)	tPrejob_2
	Libellé	Supprime Listing sortie	OUTPUT(S)	none

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Nom de fichier	context.fichier_listing
Échoue si erreur	false
Supprimer le répertoire	false
Supprimer le Fichier ou le Répertoire	false
!!!NOTE.NAME!!!	*Note "CURRENT_STATUS" including: "File (or path) deleted." "No file (or path) deleted." "File (or path) does not exists or is invalid."
Afficher les informations	false
Commentaire	Supprime le fichier listing issu d'un précédent traitement.
Utiliser une règle de validation existante	false

Schéma detFileDelete_1 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire

Original Function Parameters:

Composant : tFileInputDelimited

	UNIQUE NAME	tFileInputDelimited_1	INPUT(S)	none
	Libellé	Liste workspaces	OUTPUT(S)	tFlowToIterate_6

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
!!!FILENAMETEXT.NAME!!!	"When the input source is a stream or a zip file,footer and random shouldn't be bigger than 0."
Nom de fichier/Flux	context.liste_workspaces
Séparateur de lignes	"\n"
Séparateur de champs	";"
Options CSV	false
En-tête	0
Pied-de-page	0
Limite
Ignorer les lignes vides	true
Décompresser en tant que fichier zip	false
Terminer en cas d'erreur	false
Séparateur avancé (pour les nombres)	false
Extraire les lignes aléatoirement	false
Supprimer les espaces en début et en fin de champ dans toutes les colonnes	false
Sélectionnez la colonne dans laquelle vous voulez supprimer les espaces entourant les champs	[{SCHEMA_COLUMN=chemin, TRIM=false}]
Vérifier la structure de toutes les lignes par rapport au schéma	false
Vérifier la date	false
Encodage	"ISO-8859-15"
Séparer les lignes avant le champ	false
Afficher les informations	false
Commentaire	Fichier contenant une seule colonne avec le chemin des différents workspaces à analyser
Utiliser une règle de validation existante	false

Schéma detFileInputDelimited_1 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire
chemin	false	String			true

Original Function Parameters:

Composant : tFileInputXML

	UNIQUE NAME	tFileInputXML_2	INPUT(S)	tFlowToIterate_1
	Libellé	Fichier Projet	OUTPUT(S)	tFlowToIterate_3

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Nom de fichier/Flux	((String)globalMap.get("tFileList_2_CURRENT_FILEPATH"))+"/.project"
Requête XPath boucle	"/projectDescription"
Mapping	ame="desc">false</column> <column ncommentaire}]
Limite
Terminer en cas d'erreur	false
Séparateur avancé (pour les nombres)	false
Ignorer les espaces dans les noms	false
Ignorer le fichier DTD	false
Utiliser un séparateur pour le mode Xerces	false
Mode de génération	Dom4j
Validate date	false
Encodage	"UTF-8"
Afficher les informations	false
Commentaire	Récupère le commentaire décrivant brièvement le projet.
Utiliser une règle de validation existante	false

Schéma demetadata :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire
commentaire	false	String	33		true

Original Function Parameters:

Composant : tFileInputXML

	UNIQUE NAME	tFileInputXML_3	INPUT(S)	tFileList_3
	Libellé	Fichier Job	OUTPUT(S)	tMap_4

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Nom de fichier/Flux	((String)globalMap.get("tFileList_3_CURRENT_FILEPATH"))
Requête XPath boucle	"/talendfile:ProcessType/parameters/elementParameter"
Mapping	[{QUERY="@name", NODECHECK=false, SCHEMA_COLUMN=variable}, {QUERY="@value", NODECHECK=false, SCHEMA_COLUMN=valeur}]
Limite
Terminer en cas d'erreur	false
Séparateur avancé (pour les nombres)	false
Ignorer les espaces dans les noms	false
Ignorer le fichier DTD	false
Utiliser un séparateur pour le mode Xerces	false
Mode de génération	Dom4j
Validate date	false
Encodage	"UTF-8"
Afficher les informations	false
Commentaire	Récupère les paramètres généraux du job dans le fichier XML de description
Utiliser une règle de validation existante	false

Schéma detFileInputXML_3 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire
variable	false	String			true
valeur	false	String			true

Original Function Parameters:

Composant : tFileInputXML

	UNIQUE NAME	tFileInputXML_6	INPUT(S)	tFlowToIterate_8
	Libellé	Fichier Job	OUTPUT(S)	tMap_9

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Nom de fichier/Flux	((String)globalMap.get("tFileList_3_CURRENT_FILEPATH"))
Requête XPath boucle	"/talendfile:ProcessType/node"
Mapping	[{QUERY="@componentName", NODECHECK=false, SCHEMA_COLUMN=composant}]
Limite
Terminer en cas d'erreur	false
Séparateur avancé (pour les nombres)	false
Ignorer les espaces dans les noms	false
Ignorer le fichier DTD	false
Utiliser un séparateur pour le mode Xerces	false
Mode de génération	Dom4j
Validate date	false
Encodage	"UTF-8"
Afficher les informations	false
Commentaire	Récupère les composants (type uiquement) utilisés dans le job en cours de traitement.
Utiliser une règle de validation existante	false

Schéma detFileInputXML_6 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire
composant	false	String			true

Original Function Parameters:

Composant : tFileList

	UNIQUE NAME	tFileList_2	INPUT(S)	tFileProperties_3
	Libellé	Listing workspace	OUTPUT(S)	tFileProperties_2

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Répertoire	((String)globalMap.get("workspaces.chemin"))
Type de fichier dans la liste FileList	DIRECTORIES
Inclure les sous-répertoires	false
Sensible à la casse	YES
Générer une erreur si aucun fichier n'est trouvé	false
Utiliser des Expressions Globales comme masque de fichier (Décocher la case signifie utiliser des Expressions régulières Perl5)	true
Fichiers	[]
Par défaut	true
Par nom de fichier	false
Par taille de fichier	false
Par date de modification	false
asc	true
desc	false
Utiliser l'option Exclure le masque de fichier	false
Format du chemin d'accès utilisant les slash (/) (utile sous Windows)	false
Afficher les informations	false
Commentaire	Liste les dossiers contenu dans le chemin passé en variable de contexte dossier_workspace.
Utiliser une règle de validation existante	false

Original Function Parameters:

Composant : tFileList

	UNIQUE NAME	tFileList_3	INPUT(S)	tFlowToIterate_3
	Libellé	Listing projet	OUTPUT(S)	tFileInputXML_3

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Répertoire	((String)globalMap.get("tFileList_2_CURRENT_FILEPATH"))+"/process"
Type de fichier dans la liste FileList	FILES
Inclure les sous-répertoires	true
Sensible à la casse	YES
Générer une erreur si aucun fichier n'est trouvé	false
Utiliser des Expressions Globales comme masque de fichier (Décocher la case signifie utiliser des Expressions régulières Perl5)	true
Fichiers	[{FILEMASK="*.item"}]
Par défaut	true
Par nom de fichier	false
Par taille de fichier	false
Par date de modification	false
asc	true
desc	false
Utiliser l'option Exclure le masque de fichier	false
Format du chemin d'accès utilisant les slash (/) (utile sous Windows)	false
Afficher les informations	false
Commentaire	Liste les fichiers *.item du sous-dossier process du projet en cours d'analyse. Le résultat représente l'ensemble des jobs du projet en cours de traitement.
Utiliser une règle de validation existante	false

Original Function Parameters:

Composant : tFileOutputDelimited

	UNIQUE NAME	tFileOutputDelimited_1	INPUT(S)	tAggregateRow_2
	Libellé	Fichier Sortie	OUTPUT(S)	none

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Use Output Stream	false
Nom de fichier	context.fichier_listing
Séparateur de lignes	"\n"
Séparateur de champs	";"
Ecrire après	true
Inclure l'en-tête	true
Séparateur avancé (pour les nombres)	false
Options CSV	false
Créer le répertoire s'il n'existe pas	true
Diviser la sortie dans plusieurs fichiers	false
Personnaliser la taille de la mémoire utilisée pour stocker temporairement les données	false
Sortie en mode ligne	false
Encodage	"ISO-8859-15"
Ne pas générer de fichier vide	false
Afficher les informations	false
Commentaire	Fichier contenant les compoosants utilisés par projet/job.
Utiliser une règle de validation existante	false

Schéma demetadata :

Column	Clé	Type	Nullable
projet_nom	false	String	true
projet_workspace	false	String	true
projet_commentaire	false	String	true
job_nom	false	String	true
job_commentaire	false	String	true
composant	false	String	true
nombre	false	Integer	true

Original Function Parameters:

Composant : tFileProperties

	UNIQUE NAME	tFileProperties_2	INPUT(S)	tFileList_2
	Libellé	Propriété dossier	OUTPUT(S)	tMap_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Fichier	((String)globalMap.get("tFileList_2_CURRENT_FILEPATH"))
Calcule un Hash MD5	false
Afficher les informations	false
Commentaire	Récupère les propriétés de chaque dossier du workspace
Utiliser une règle de validation existante	false

Schéma detFileProperties_2 :

Column	Clé	Type	Longueur	Nullable
abs_path	false	String	255	true
dirname	false	String	255	true
basename	false	String	255	true
mode_string	false	String	10	true
size	false	Long	20	true
mtime	false	Long	20	true
mtime_string	false	String	20	true

Original Function Parameters:

Composant : tFileProperties

	UNIQUE NAME	tFileProperties_3	INPUT(S)	tFlowToIterate_6
	Libellé	Propriété workspace	OUTPUT(S)	tFileList_2

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Fichier	((String)globalMap.get("workspaces.chemin"))
Calcule un Hash MD5	false
Afficher les informations	false
Commentaire	Récupère les propriétés de chaque dossier workspace
Utiliser une règle de validation existante	false

Schéma detFileProperties_3 :

Column	Clé	Type	Longueur	Nullable
abs_path	false	String	255	true
dirname	false	String	255	true
basename	false	String	255	true
mode_string	false	String	10	true
size	false	Long	20	true
mtime	false	Long	20	true
mtime_string	false	String	20	true

Original Function Parameters:

Composant : tFlowToIterate

	UNIQUE NAME	tFlowToIterate_1	INPUT(S)	tMap_1
	Libellé	__UNIQUE_NAME__	OUTPUT(S)	tFileInputXML_2

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Utilisation par défaut : (clé, valeur) en variable globale	true
Afficher les informations	false
Commentaire	Repasse le flux en mode itération
Utiliser une règle de validation existante	false

Schéma detFlowToIterate_1 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire

Original Function Parameters:

Composant : tFlowToIterate

	UNIQUE NAME	tFlowToIterate_3	INPUT(S)	tFileInputXML_2
	Libellé	__UNIQUE_NAME__	OUTPUT(S)	tFileList_3

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Utilisation par défaut : (clé, valeur) en variable globale	true
Afficher les informations	false
Commentaire	Repasse le flux en mode itération
Utiliser une règle de validation existante	false

Schéma detFlowToIterate_3 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire

Original Function Parameters:

Composant : tFlowToIterate

	UNIQUE NAME	tFlowToIterate_6	INPUT(S)	tFileInputDelimited_1
	Libellé	__UNIQUE_NAME__	OUTPUT(S)	tFileProperties_3

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Utilisation par défaut : (clé, valeur) en variable globale	true
Afficher les informations	false
Commentaire	Repasse le flux en mode itération
Utiliser une règle de validation existante	false

Schéma detFlowToIterate_6 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire

Original Function Parameters:

Composant : tFlowToIterate

	UNIQUE NAME	tFlowToIterate_8	INPUT(S)	tMap_4
	Libellé	__UNIQUE_NAME__	OUTPUT(S)	tFileInputXML_6

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Utilisation par défaut : (clé, valeur) en variable globale	true
Afficher les informations	false
Commentaire	Repasse le flux en mode itération
Utiliser une règle de validation existante	false

Schéma detFlowToIterate_8 :

Column	Clé	Type	Longueur	Précision	Nullable	Commentaire

Original Function Parameters:

Composant : tPrejob

	UNIQUE NAME	tPrejob_2	INPUT(S)	none
	Libellé	__UNIQUE_NAME__	OUTPUT(S)	tFileDelete_1

Paramètres du composant :

Propriétés	Valeurs
Activer	true
Statistiques du tStatCatcher	false
Afficher les informations	false
Commentaire
Utiliser une règle de validation existante	false

Original Function Parameters:

Composant : tMap

	UNIQUE NAME	tMap_1	INPUT(S)	tFileProperties_2
	Libellé	Filtre .*	OUTPUT(S)	tFlowToIterate_1

Composant : tMap

	UNIQUE NAME	tMap_4	INPUT(S)	tFileInputXML_3
	Libellé	Filtre Purpose	OUTPUT(S)	tFlowToIterate_8

Composant : tMap

	UNIQUE NAME	tMap_9	INPUT(S)	tFileInputXML_6
	Libellé	Listing	OUTPUT(S)	tAggregateRow_2