O que é um DataWarehouse?
Como o próprio nome já diz, é um armazém de dados digitais.
E qual a sua utilidade?
Armazenar grandes volumes deles, criando e organizando relatórios por meio de históricos, que depois podem ser acessados pela empresa.
Com a transformação digital e o número de pequenas, médias e grandes empresas que não param de surgir, um grande volume de informações surge junto.
Um DW (DataWarehouse), é uma forma estratégica de armazenar grandes volumes de dados, em um banco de dados relacional, também designado como OLTP.
Quem conhece a arquitetura de um banco de dados OLTP sabe da construção das tabelas, cursores, procedures, e uma gama de itens para gerenciar esses dados.
>>Leitura Recomendada:
SQL, NoSQL, NewSQL: Qual banco de dados usar?
O diferencial do Data Warehouse
O diferencial de um BD e um DW está na forma como são acessados e geram as informações necessárias. Como este artigo se refere ao segundo, focarei nele para não gerar conflito de informações.
Em um DW, os dados podem vir de várias fontes, sistemas (ERP, SAP, etc).
Esses dados são carregados em arquivos como *.txt, *xls, entre outros, que suportam essa grandeza.
Para carregá-los dentro do “armazém“, será necessário verificá-los e validá-los. Esse processo é definido como ETL (Extract, Transaction, Load), e nele os dados são padronizados, corrigidos, limpos e carregados dentro do depósito de dados.
Para que um DW seja funcional ele precisará necessariamente contar com uma construção de índices.
O que são os índices?
Os índices são as chaves dentro de cada tabela para realizar as transações dentro da database.
Esses índices separam os dados disponíveis por assunto, que podem variar entre uma gama diversa de opções: datas, marcas, algo que defina um grupo de dados integrado.
A mágica de verdade ocorre dentro do armazém, com os índices, tabelas, scripts de carga, como procedures e cursores, que farão toda análise, distribuição, organização deles.
Com isso, futuramente poderão ser acessados de maneira inteligente, gerando informações para a tomada de decisão dentro de uma corporação.
Do lado da corporação, existem aplicações para acessar esses dados.
Nesse artigo não vamos focar nessas aplicações, talvez esse seja assunto para um próximo post, aqui pretendemos abordar as maneiras que esses dados são acessados, ou seja, suas arquiteturas.
>>Leitura Recomendada:
Mini Tutorial de ETL na prática com Power BI
As arquiteturas do DW
As arquiteturas do DW podem variar de acordo com as necessidades da empresa que as utilizarão.
Arquitetura de Duas camadas
A arquitetura de duas camadas utiliza um servidor, juntamente com aplicações front-end — que são ferramentas que realizam operações sobre os dados consultados e os transformam em informações úteis para os usuários.
Já os componentes back-end são ferramentas responsáveis pela extração, limpeza e cargas dos dados, mais conhecidas como ETL e também são utilizadas neste tipo de arquitetura.
Arquitetura de Três camadas
A arquitetura de três camadas suporta vários usuários e serviços, devido a sua flexibilidade.
As informações ficam armazenadas em diversas camadas.
Na primeira camada estão as interfaces que trabalham com o usuário, que geralmente são gráficas.
Na segunda camada estão os servidores de banco de dados e aplicações e, por isso, têm a necessidade de ter um acesso eficiente e veloz aos dados compartilhados.
Na última ficam armazenadas as fontes de dados. A arquitetura de três camadas é a mais utilizada pelos analistas.
Segue abaixo uma figura ilustrando a parte gráfica de um DW, com seus níveis e arquiteturas:
Em conclusão
De forma geral, um DW armazena os dados em grande volume.
O diferencial está na maneira como são gerenciados, para isso é necessário um conhecimento das melhores práticas de desenvolvimento dentro do BD, para otimizar toda consulta, retornando para o usuário final informações concisas, que possam ser utilizadas para a tomada de decisão.
E, pra isso, um conhecimento prévio do negócio é imprescindível.
O acesso, sistemas interligados e conectados, trabalharão mais assertivamente com esses dados, para um melhor trabalho tanto a nível organizacional quanto gerencial dentro das empresas.
