Què són els processos ETL (extreure, transformar i carregar)?

Les organitzacions sempre han hagut de gestionar informació per poder prendre decisions que guiïn el rumb de l’empresa. Els temps actuals s’estan caracteritzant, més que mai, pel gran poder que té una bona gestió i interpretació de les dades.

En el següent article, veurem en què consisteixen els processos ETL i les eines que existeixen per poder gestionar-lo, així com el gran repte i oportunitat que presenta l’aplicació de la Big Data.   

Processos ETL 

Per poder entendre el potencial i beneficis que pot reportar la implementació d’un bon procés ETL cal entendre què és exactament aquest concepte.    

És l’acrònim d’ETL Extract, Transform Load, o com seria en espanyol: extreure, transformar i carregar. Aquestes tres fases formen part d’aquest procés o mètode amb el qual es vetlla per una gestió eficient de les dades i informacions corporatives generades per diferents fonts per a la seva posterior anàlisi i interpretació (business intelligence).

En els processos ETL s’extreuen dades de múltiples fonts o sistemes d’origen per transformar-los i adaptar-los a les necessitats de cada organització per convertir-les en informació que ajudi en la presa de decisions directives. Sense un bon tractament, les dades no tenen valor.

Aquest mètode va néixer als 70 amb la necessitat de les empreses per emmagatzemar diferents tipus d’informació  utilitzades en múltiples bases de dades. Tot i que aleshores es tractava d’un procés manual, els processos ETL van servir per integrar totes aquestes dades en un únic magatzem virtual destinat a l’analítica: Data Warehouse, creat a  principis dels 90.

El sistema ETL es caracteritza per gestionar grans quantitats de dades repartides, emmagatzemades i generades per diferents departaments dins d’una mateixa organització. Un dels principals reptes que afronten aquests processos és extreure les dades i consolidar aquesta informació.

Perquè aquests processos siguin eficients i útils per a qualsevol empresa és important que es realitzin en intervals regulars perquè tota la data emmagatzemada estigui sempre actualitzada i tractada.

Com desenvolupar els processos ETL a les empreses? 

Tal com hem comentat abans, els processos ETL se centren en tres accions: extreure, transformar i carregar. Amb aquest mètode les empreses examinen i organitzen les seves dades per atendre millor els seus clients i consumidors. 

1. Fase d’Extracció (Extract)

És la primera fase del procés ETL i s’hi extreuen les dades en brut de fonts i sistemes  d’origen molt variats: bases de dades relacionals, XML, fitxers no estructurats, RDBMS en forma de taula… 

1. Fase de Transformació (Transform)

Aquesta etapa del procés ETL és la més delicada. S’hi analitzen i modifiquen les dades en brut per transformar-les en un format útil o fàcil d’entendre. El protocol haurà d’incloure directrius declaratives, independents i clares. És a dir, una sèrie de normes i reglaments que garanteixin la qualitat i accessibilitat de les dades. 

1. Càrrega (Load)

La fase de càrrega és l’última dins del procés ETL. En ella, es carreguen les dades, prèviament tractades i convertits en un format consistent i homogeni, a un sistema de destinació, generalment el Data Warehouse. Existeixen dues vies per carregar-les: la càrrega completa o acumulació simple, quan totes les dades es carreguen al magatzem alhora; i la càrrega incremental o rolling, quan aquest procés es realitza a través de lots. 

Tipus d’eines  ETL: Quines són les més usades? 

Els processos ETL poden reviure’s de forma manual o automatitzada amb l’ajuda d’eines i aplicacions que poden ser Enterprise Software ETL (de pagament) o Open Source ETL (de codi obert).   

En molts casos, les organitzacions es mostren reticents a l’hora de destinar el seu pressupost a les eines ETL. A l’hora de contractar un d’aquests serveis és important tenir en compte la naturalesa de les dades, és a dir, contemplar la capacitat de transformació de dades que l’ eina ofereix i comparar-ho amb les necessitats empresarials existents.   

També s’haurà de tenir en compte la gestió de la pèrdua o indisponibilitat de les dades durant la seva extracció, així com els possibles costos afegits en el futur per l’augment del volum de dades.  

Software ETL de pago

• Informàtica PowerCenter 
• IBM Infosphere DataStage 
• Constructor de magatzems 
• Microsoft SQL Server Integration Services -SSIS- 
• SAS Dataflux 
• Gestor de dades SAP 

Software Open Source

• Talend Open Studio
• Jitterbit
• Pentaho Data Integration -anterior Kettle
• Hadoop

La importància del Big Data a les empreses    

El Big Data o macrodades consisteix en l’anàlisi massiva de dades. Aplicar-ho als negocis (Business Intelligence) ajuda els directius a interpretar la informació corporativa per poder prendre millors decisions i moviments empresarials estratègics.  

Entre els principals beneficis que reporta aplicar el Big Data en els negocis destaca: 

• Eficiència i estalvi de temps. 
• Identificació i resolució de problemes.  
•  Ajut en la gestió d’equips.  
• Permet l’anàlisi predictiva. 
• Millora de la presa de decisions.  
• Major eficiència i optimització de costos. 
• Segmentació dels clients.  
• Major accessibilitat a la informació empresarial. 
• Major avantatge competitiu.  
• Millor reputació online.  
• Feedback en temps real.  
• Machine learning o aprenentatge automàtic.