Marco Polo - Crawler dati tecnici

Crawler per l'acquisizione automatica dei dati tecnici di prodotto: ha automatizzato un lavoro stimato in circa 86 anni/uomo.

Sistema di crawling che raccoglie e struttura automaticamente i dati tecnici dei prodotti da fonti esterne, popolando l'anagrafica. Ha sostituito un lavoro manuale stimato in circa 86 anni/uomo, abilitando cataloghi ricchi e sempre aggiornati. Il progetto era composto di 15 crawler automatici che ha generato 15 db con oltre 120 milioni di relazioni tra 2.5 milioni di modelli e oltre 6 milioni di ricambi. Oltre alle informazioni tecniche e di listino, il sistema ha prelevato oltre 6 milioni di immagini tecniche e di prodotto. Molto impegnativo è stata l'automazione di tutti questi dati per uniformarli e renderli disponibili per il sito web. La gestione di oltre 6 milioni di immagini che sono state rinominate ed organizzate per gestirle via db. Il mio contributo: analisi delle esigenze, progettazione della soluzione, sviluppo operativo, test e pubblicazione dei contenuti. Argomenti e competenze: Automazione processi, ETL, SQL Server, import dati, controlli qualità, reportistica.