Engenharia de dados com DBT: entendendo conceito e recursos da ferramenta

Abstract

Este artigo trata de apresentar conceitos essenciais de engenharia de dados, focados no processo de ETL (Extração, Transformação e Carga), utilizando a ferramenta Data Build Tool (DBT) desenvolvida pela Fishtown. O texto aborda a significância dos dados e sua evolução ao decorrer do tempo, em volume, variedade e complexidade, observando o impacto que causam no avanço da tecnologia como um todo. Detalha-se o conceito de Big Data, dando foco em seus três pilares fundamentais: volume, velocidade e variedade. O trabalho também apresenta os conceitos básicos de funcionamento de APIs, relacionando-os com sua relevância no processo de extração de dados, parte fundamental do processo de ETL. Além disso, as funcionalidades básicas da ferramenta DBT são profundamente exploradas de maneira conceitual, mas com uma compreensão clara de como elas se associam diretamente à transformação e carga de dados no processo de ETL, permitindo uma gestão eficiente e eficaz dos dados.

This article aims to present essential concepts of data engineering, focusing on the ETL (Extraction, Transformation, and Loading) process, using the Data Build Tool (DBT) developed by Fishtown. The text discusses the significance of data and its evolution over time in terms of volume, variety, and complexity, observing the impact they have on the advancement of technology as a whole. It details the concept of Big Data, with a focus on its three fundamental pillars: volume, velocity, and variety. The paper also presents the basic concepts of API operation, relating them to their relevance in the data extraction process, a fundamental part of the ETL process. Additionally, the basic functionalities of the DBT tool are explored conceptually, without practical applications, but with a clear understanding of how they directly associate with data transformation and loading in the ETL process, enabling efficient and effective data management.