Conceitos da semana - Metadados, ETL & EIS

Metadados:

São frequentemente descritos como dados sobre dados, ou seja, a informação dos conteúdos dos dados, a extensão que cobrem, o sistema de referência, o modelo de representação, a distribuição, qualidade, frequência de actualização, restrições de segurança, etc.

Desta forma, os objectivos dos metadados, ao nível do DW, são:

• Pesquisa do conjunto de dados: é essencial saber que dados existem, quais os que estão disponíveis e outras características específicas relevantes para as necessidades do utilizador. Para o efeito, os metadados armazenam a informação do referido conjunto, o porquê da sua criação, quando, quem os produziu e como.

• Escolha dos dados: a possibilidade de comparar entre si diferentes conjuntos de dados, de forma a poder a seleccionar quais os que cumprem os requisitos requeridos pelos utilizadores.

• A utilização. No alcance de um melhor desempenho, obtenção de melhores resultados, e claro, de uma melhor execução da manutenção (correctiva, evolutiva e preventiva) e respectivas actualizações, o utilizador necessita de conhecer as características técnicas dos dados, de forma ampla e completa. Estas particularidades, que permitem igualmente um aumento do desempenho da exploração, são fornecidas pelos metadados.

ETL – Extract, Transform and Load

O primeiro passo do ETL é simplesmente a definição das fontes de dados e a extracção deles. Estes dados “em bruto”, podem vir de diversos formatos e de vários sistemas (transaccionais, operacionais ou dados de sistemas externos à organização). Nesta fase os dados são transferidos de BD’s hierárquicas ou de grande volume, e através do SGBD, transferidos para o DW, tal como o IQ da Sybase, Red Brick da Informix, Essbase ou o DB2 para DW. A selecção dos dados do sistema operacional é muitas vezes complexa, pois é necessário seleccionar vários campos para compor um único campo no DW (e o mesmo se aplica a sistemas transaccionais).

O segundo passo consiste na limpeza e transformação desses dados. Esta limpeza é consequente da miscelânea e na inconsistência presente. Temos igualmente que fazer uma transformação, pois os dados são extraídos de vários sistemas, e apesar poderem possuir a mesma informação, poderão ter diferentes formatos. É necessário também manter a coerência da estrutura dos dados e das chaves.

Por fim, o carregamento dos dados para o DW. Geralmente são carregados em bulk loading (de uma só vez), em tabelas de factos e tabelas de dimensões. Após ocorrer este processo, os dados são indexados.

Executive Information System (EIS)

Os EIS não são mais do que a gestão de sistemas de informação com o intuito de facilitar e suportar a informação e as necessidades de tomada de decisão, fornecendo, através de uma interface gráfica easy-to-use, o acesso acessível à informação externa e interna relevante à estratégia da organização. Oferecem uma forte particularidade como o reporting e capacidades de drill-down.

Concluindo, os EIS auxiliam os gestores, analistas e/ou executivos nas suas análises, comparações e permitem monitorizar de uma forma mais pormenorizada e completa o desempenho (aka performance) da organização, bem como identificar oportunidades e problemas. Um exemplo recente dos EIS, são os dashboards digitais.

Cardoso, Pedro