Os Passos para Desenvolvimento e Disponibilização de um DW

Este artigo mostrará os passos necessários para desenvolver e disponibilizar um armazém de dados!

Este artigo mostrará os passos necessários para desenvolver e disponibilizar um armazém de dados.

A Metodologia de Armazenagem de Dados é organizada nas fases seguintes:

  • Iniciação: Avaliando Necessidades e Oportunidades
  • Análise: Análise e Determinação de Requisitos
  • Desenho: Armazém de Dados e Modelos de Mercado de Dados (data mart – modelo Estrela – Star Schema/Multidimensional)
  • Desenho: Arquitetura Técnica
  • Desenho: Obtém as Entradas do Armazém de Dados
  • Construção: Carga dos Dados
  • Construção: Ferramentas de Apresentação e Análise
  • QA: Testes
  • Rollout: Disponibilizar na  Produção
  • Interação: Fazer Mudanças incrementais

Diferenças entre Metodologia de DW e Metodologia Tradicional IT

Desenvolver armazéns de dados é, definitivamente, diferente do desenvolvimentos de outros SISTEMAS. Assim sendo, exige uma metodologia diferente.

Metodologia de Armazenagem de dados:

  • O Uso de dados é exploratório e menos previsível
  • A Modelagem é Multidimensional
  • O Enfoque está em carregar e apresentar dados

Metodologia Tradicional IT:

  • Os Processos automatizados são repetidos e previsíveis
  • A MODELAGEM de Dados é Entidade Relacionamento (ER)
  • O Enfoque está em atualização rápida on-line de dados

Armazenagem de dados não é, simplesmente, criar um conjunto de relatórios que são periodicamente executados.  Envolve questões que podem levar inicialmente,  para lugares imprevisíveis.

Iniciação: Avaliando Necessidades e Oportunidades

Primeiro é importante saber se sua organização está pronta para armazenagem de dados.  Se existem negócios dirigidos  a mercados, um patrocinador de projeto apropriado e uma cultura organizacional que inclui uso de dados para decisões e cooperação entre os negócios e a tecnologia. Existindo isso, a organização está pronta.

Os negócios dirigidos a mercados são as razões principais para procurar armazenagem de dados ou qualquer outra ferramenta com objetivo específico de ajuda nas decisões.  Os exemplos de negócios dirigidos a mercado incluem:

  • Vantagem ou sobrevivência competitivas
  • Alto potencial de lucros (necessidade de novos mercados, produtos, etc.)
  • Alto potencial de redução de custos

O Patrocinador do Projeto é chave para o sucesso do projeto.  Um bom patrocinador deve:

  • Estar ciente dos  negócios dirigidos ao mercado / benefícios / economias
  • Ter influência política / autoridade / influência em geral
  • Fazer parte da área de negócios / não um técnico de TI
  • Ter tempo para participar
  • Ter conhecimento de TI e DW

A organização precisa de uma cultura onde:

  • Negócios e TI TRABALHEM juntos
  • Negócios use dados para tomar decisões e buscar mais dados

Além disso, os dados de origem e os recursos da  tecnologia da informação devem estar adequados e em ordem.  Se sua organização quer que dados sobre vendas cruzadas estejam em seu armazém de dados, precisa de um sistema operacional que localize essas informações, para que possam ser carregadas no armazém de dados.

Análise: Definição de requisitos

Os requisitos descrevem a solução necessária às condições do negócios.  Na fase de Análise dos Requisitos são detalhados os requerimentos para a Armazenagem de Dados (Trataremos com mais detalhes em nossos próximos artigos).

Desenho: Arquitetura técnica

A arquitetura técnica do armazenagem de dados é o desenho de nível mais alto do sistema de armazenagem de dados.  Inclui especificações técnicas:

  • Gerenciamento de Metadados
  • Entradas de Origem
  • Extração
  • Middleware
  • Armazenamento e Operações Físicas
  • Sistema de Gerenciamento de Banco de dados
  • Mapeamento, Transformação, Enriquecimento, e Carga
  • Comunicação
  • Analisando e Apresentando
  • Administração, Operação e Segurança

Um dos entregáveis deste esforço será o Diagrama da Arquitetura Técnica do Armazem de Dados:

Desenho: Modelagem do Armazém de Dados

Os Modelos de Dados de armazém de dados são representações visuais dos bancos de dados que compõem o sistema de armazenagem de dados.  Estes modelos são úteis para ligação de requisitos de negócios com o sistema físico que executa aqueles requisitos. Abordagens para cada um dos bancos de dados necessários:

  • Mercado de Dados : Dimensional / Modelo de Dados de Esquema de Estrela
  • Relação de Entidade de Armazém de Dados – Diagrama
  • Executando : Diagrama de Relação de Entidade

Construção: Obtendo Entradas para o Armazém de Dados

Um sistema de armazém de dados é tão bom quanto suas Entradas.  Nesta fase nós selecionamos aqueles dados que serão incluídos no sistema de armazenagem de dados.  Para aprender o quão bons os dados são, nós usamos data profiling (perfil dos dados) e data assessment (avaliação dos dados).

Construção: Extração, Transformação e Carga (ETL)

Na fase de ETL, nós construímos Extratores que puxam dados das origens de dados e Transformações que modificam os dados de modo a deixar os dados prontos para serem carregados no sistema de armazenagem de dados, conforme regras de negócio. Após, construímos rotinas de carga que colocam os dados nos bancos de dados apropriados.

Construção: Ferramentas de Apresentação/Analises

Na fase onde é feita a Construção para Apresentação e Análise, a base é colocada em ordem para uso em BI – Business Intelligence (Inteligência de Negócios).  Metadados deve ser definido, de forma que usuários da armazenagem de dados possam realizar funções analíticas como:

  • Perguntas a Multiplas Dimensões
  • Drill Down – explorar maiores detalhes
  • Drill UP – resumir os dados
  • Pivô – mudar a direção das perguntas

QA: Testes

Para implementar um armazém de dados com sucesso, uma organização deve ter confiança de  que o analítico criado possuí dados corretos.  O enfoque da fase de testes no armazém de dados é para assegurar que os dados no armazém de dados estejam corretamente carregados a partir dos sistemas de origem(s).

 O Rollout : Disponibilizar na Produção

Esta fase inclui:

  • Dados e Aplicação disponíveis para uso
  • Instalação no Ambiente de Produção
  • Treinamento

 Interação : Faz Mudanças Incrementais

Depois do armazém de dados ser posto em produção, nosso trabalho ‘acabou de começar’.  Para sustentar os dados no armazém de dados (atualização de dados e inserção de novos dados), o DW é incrementalmente melhorado, em um processo peródico e constante.

Até o nosso próximo artigo!

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: