Os arquitetos de dados são profissionais que visualizam e projetam a estrutura de gestão de dados empresariais, em alinhamento com as estratégias da empresa. A Arquitetura de Dados trata-se, portanto, de uma profissão muito relevante para as organizações de nosso século, principalmente, no setor de Tecnologia da Informação, que é uma área basilar para a maioria das organizações modernas.
Leia nosso post e fique sabendo mais detalhes sobre o tema. Veja mais detalhes sobre o funcionamento da Arquitetura de Dados e quais são seus principais fundamentos!
O que é Arquitetura de Dados?
A Arquitetura de Dados é uma área da Ciência de Dados que trabalha com especificações para descrição do estado atual dos dados, define seus requisitos, trabalha com dados orientados à integração e controla ativos de acordo com uma estratégia.
Como funciona a Arquitetura de Dados?
A Arquitetura de Dados envolve técnicas e estratégias para administrar os ciclos de vida dos dados em uma empresa — que servem para conduzir os processos operacionais e a tomada de decisões. Essas estratégias envolvem:
- seleção: concentrada em identificar quais são os conjuntos de dados que são gerados dentro da empresa e quais são gerados fora da empresa;
- infraestrutura de dados: analisa e escolhe plataformas de ferramentas/dados e serviços de gestão de dados associados, implementa sistemas em data centers e em nuvem e na configuração da rede;
- onboarding e integração de dados: envolve a assimilação de dados de fontes de fora, validando-os a partir de fatores de qualidade de dados definidos, o que os transforma em formatos passíveis de uso, integrando-os com dados de apps de negócios internos;
- armazenamento de dados: considera a utilização de sistemas de gestão de banco de dados relacional para dados estruturados, valores e arquivos de texto separados por vírgula, dados não estruturados e semiestruturados geridos em bancos de dados NoSQL, serviços de armazenamento de objetos em nuvem e estruturas de Big Data;
- uso de dados: considera as diversas comunidades que consomem dados, analisa os requisitos, dá suporte aos seus cenários de utilização;
- concentração de acesso de dados em métodos de acesso: consulta direta, serviços de dados, extração de dados;
- análise e exibição de dados: envolvem métodos para organizar dados a fim de gerar relatórios e análises;
- proteção de dados: envolve cuidados na segurança do perímetro, técnicas de criptografia e controles de acesso fundamentados em atributos e funções;
- governança de dados: faz a supervisão da conformidade com regras, modelos e políticas que determinam a coleta, a gestão e a utilização de dados corporativos.
Quais são as funções de um arquiteto de dados?
Um arquiteto de dados tem um conjunto de funções relacionadas ao objetivo da estratégia de dados. As responsabilidades envolvem plataformas locais e serviços de dados e aplicativos em nuvem. As funções de um arquiteto de dados são:
- descrição de parâmetros e princípios que controlam em ambientes de dados, como computação na nuvem e lugares híbridos;
- definição das estruturas de gestão que serão utilizadas (Data Warehouse, Data Lake, Data Mesh) e das ferramentas de consulta e de visualização de dados do usuário final;
- consideração das demandas operacionais, das expectativas sobre o desempenho e dos gastos, planejando uma estratégia para administrar dados e apps, principalmente, na nuvem;
- desenvolvimento de um catálogo que lista ativos de dados empresariais, juntamente a suas características, define onde os ativos se encontram e os controles de acesso e faz a classificação da sensibilidade dos dados;
- supervisão do uso de ferramentas e técnicas de modelagem, orientação dos modeladores na construção de modelos, supervisão dos processos que modelam dados, bem como a manutenção de um conjunto de metadados que capturam inteligência de dados empresariais;
- supervisão da seleção e da implementação de ferramentas de gestão de dados que se alinham a processos e métodos de desenvolvimento;
- desenvolvimento e manutenção de arquitetura de referência, que envolve a especificação de domínio de dados utilizados em aplicativos diversos e de linhas empresariais;
- documentação de como os dados transitam de pontos de origem e aquisição em aplicativos e sistemas, além da supervisão do desenvolvimento, da gestão e do monitoramento de pipelines de dados;
- descrição de técnicas e processos para integrar dados e escolher ferramentas de implementação e de supervisão dos esforços de integração;
- especificação de métodos de acesso a dados e serviços de dados de arquitetura para dar suporte ao acesso de autoatendimento downstream para cientistas e analistas de dados;
- documentação das regras e das expectativas de qualidade dos dados e da seleção e implementação de ferramentas para gerir e relatar a conformidade com os requisitos de qualidade dos dados;
- definição de políticas que protegem os dados e escolha das tecnologias corretas para implementação de políticas;
- monitoramento, auditoria e relato da conformidade com os parâmetros de dados internos, regulamentações e políticas determinadas externamente e expectativas de performance.
Quais são os principais modelos da Arquitetura de Dados?
A abordagem do banco de dados utiliza um modelo comum de dados para todo o Database. O DBMS (Sistema de Gestão de Banco de Dados) exerce a função de interface entre os softwares do usuário e o banco de dados. De forma conceitual, há três modelos de Arquitetura de Dados. Veja!
Modelo hierárquico
É um modelo que oferece aos usuários dados em uma hierarquia de elementos que são representados em um tipo de árvore invertida. Por exemplo, durante o processamento dos pedidos de vendas, podem aparecer muitas faturas relativas a um cliente, e cada uma delas pode ter elementos de dados diversos. Nesse caso:
- o cliente é o nível raiz de dados;
- a fatura é o segundo nível;
- os itens de linha (data, quantidade, produto, número da fatura) são o terceiro e último nível.
Embora seja uma estrutura aparentemente simples, ela tem certas desvantagens, como a dificuldade em identificar quais foram os produtos que determinado cliente comprou.
Modelo de rede
Nesse modelo, não existem níveis de registro. Não há uma via definida para recuperar dados, e existe uma quantidade alta de links, fazendo com que os bancos de dados de rede sejam lentos e complexos.
Devido à sua complexidade, esse modelo só é aplicado quando as demais opções não são possíveis. Um exemplo de modelo de rede é o funcionário e o setor no qual ele trabalhou ou vai trabalhar futuramente.
Modelo relacional
É o modelo mais atual de Arquitetura de Dados. Foi criado para evitar a inflexibilidade e a complexidade dos modelos já descritos.
O modelo relacional é simples e poderoso. Cada arquivo é tratado como uma tabela bidimensional que tem muitos registros (linhas), e cada um deles apresenta itens-chave. Os itens-chave são elementos de dados que identificam o registro.
No exemplo citado, de processamento de pedidos, os itens de dados mais importantes são o ID do cliente, o código de produto e o número da fatura. Cada arquivo pode ser utilizado individualmente na geração de relatórios. Por outro lado, é possível obter os dados de qualquer combinação de arquivos, já que todos os arquivos estão relacionados uns com os outros — daí, o nome de “modelo relacional”.
Como estruturar uma Arquitetura de Dados?
Há diferentes estruturas de arquitetura empresarial que costumam funcionar como fundamento para montar uma estrutura de Arquitetura de Dados de uma empresa. Acompanhe!
DAMA-DMBOK 2
O Data Management Body of Knowledge da DAMA International é uma estrutura para gestão de dados. Ele oferece definições padrão para entregas, gestão de dados, funções e mais terminologias, apresentando princípios de orientação para administrar dados.
Zackman Framework para Arquitetura Corporativa
O Zackman Framework foi desenvolvido por John Zachman, nos anos 80, na International Business Machines (IBM). Trata-se de uma ontologia corporativa, o que, em Tecnologia da Informação, é um modelo de dados relacionado a uma série de conceitos que integram um domínio e as relações entre eles.
As ontologias são usadas em Web Semântica, Inteligência Artificial, Arquitetura de Informação e Engenharia de Software para representar o conhecimento a respeito do mundo ou alguma parte dele.
Existe uma coluna, chamada “Dados”, em Zackman Framework, que oferece padrões importantes de arquitetura, um modelo semântico (modelo de dados corporativo/conceitual), um modelo de dados corporativo/lógico, bancos de dados reais e modelo físico de dados.
TOGAF
TOGAF (Open Group Architecture Framework) consiste em um método de arquitetura corporativa que disponibiliza estrutura de nível elevado para desenvolver softwares para as empresas. Na fase C, é considerada a implementação de uma Arquitetura de Dados e a montagem de um roteiro para ela.
Quais são os 8 princípios da Arquitetura de Dados?
A Arquitetura de Dados funciona com base em oito princípios: segurança, colaboração, inteligência, vocabulários comuns, flexibilidade, automação, curadoria e orientação para resultados. Vamos falar sobre cada um desses pilares, que são fundamentais para estruturar uma boa base.
1. Segurança
Conforme os princípios da governança de dados, o sistema deve garantir segurança para que as informações em uma empresa sejam acessíveis somente aos funcionários autorizados.
Assim, a Arquitetura de Dados precisa seguir procedimentos que assegurem a proteção contra invasão ou acesso indevido, dando acesso aos dados mais importantes apenas aos que tiverem credenciamento para tanto.
2. Colaboração
O modelo de gerenciamento horizontal se torna uma tendência cada vez mais consolidada. Dessa forma, toda empresa requer soluções que possibilitem a gestão, o acesso e o tratamento de dados por diferentes colaboradores e equipes.
Os dados são ativos que precisam de compartilhamento. É importante reduzir os grupos de dados departamentais, garantindo que todos os envolvidos obtenham visão sistêmica de toda a organização.
Além de romper os silos departamentais, a Arquitetura de Dados moderna preza pelo fornecimento de interfaces que fazem com que os usuários consumam dados com mais facilidade, usando ferramentas mais apropriadas para suas atividades.
3. Inteligência
Já existem edifícios inteligentes, como todos sabem. Da mesma maneira, essas são as expectativas em relação aos sistemas com os quais as empresas trabalham suas informações estratégicas.
A inteligência é o pilar que abrange o conceito de BI (Business Intelligence). Por meio dele, as tarefas são embasadas por decisões fundamentadas em dados estruturados. Assim, é função dos arquitetos de dados assegurar que a organização tenha à sua disposição mais que os dados em estado bruto, mas também, informações valiosas, sempre que forem necessárias.
4. Vocabulários comuns
Os ativos de dados que são compartilhados precisam de um vocabulário comum, que contribui para dirimir discussões enquanto são analisados. Esses ativos, entre outros, são dimensões de calendário fiscal, catálogos de produtos e definições de indicadores (KPIs).
5. Flexibilidade
Apesar de toda a segurança, um sistema bem protegido não é rígido, ou seja, ele pode ser moldado de acordo com as necessidades. Na transformação digital, é necessário que a Arquitetura de Dados seja flexível, possibilitando que o sistema seja escalável, se desenvolva conforme a empresa cresça.
Há situações, por exemplo, em que é preciso conferir novas autorizações ou acessos não planejados. Assim, quanto mais for possível antecipar as demandas, melhor será.
6. Automação
Os processos automatizados são uma característica básica das ferramentas digitais. A partir desse pilar, a Arquitetura de Dados tem o compromisso de propor soluções efetivas e em níveis melhores de automação.
A automação propicia otimização de fluxos de dados, diminuindo a quantidade de vezes que eles precisam ser movimentados. Assim, será possível diminuir gastos, melhorar a atualização e a agilidade empresarial.
7. Curadoria
É importante, ainda, realizar curadoria de dados, processo que consiste em modelagem de relacionamentos relevantes, curadoria de dimensões, limpeza de dados brutos e medidas-chave.
8. Orientação para resultados
Teoricamente, a Arquitetura de Dados deve ser a solução ideal para todos os problemas relacionados à utilização da tecnologia. Mas ela só será efetivamente útil se for orientada por metas corporativas bem definidas.
Quais são as tendências em Arquitetura de Dados?
A última tendência em Arquitetura de Dados envolve conceitos como Data Lake, Data Warehouse e Data Mesh. Vejamos mais alguns detalhes sobre eles:
- Data Lake (lago de dados): repositório que guarda dados diversos em estado bruto e em formato nativo (visão não refinada dos dados);
- Data Warehouse (armazém de dados): repositório que armazena grande quantidade de dados orientados a um assunto específico, variáveis conforme o tempo, integrados a partir de um mesmo padrão e que não podem ser editados ou eliminados (não-voláteis);
- Data Mesh (malha de dados): diferentemente das arquiteturas anteriores, essa abordagem é totalmente descentralizada, com a finalidade de solucionar as limitações das plataformas monolíticas, como falta de escalabilidade, gargalos criados pelos pipelines (mapas que envolvem os ciclos de vendas), finalidades cruzadas e diferentes.
Qual é a relação entre Big Data e Arquitetura de Dados?
Vale falar sobre a arquitetura de Big Data, que não é uma Arquitetura de Dados, como alguns podem pensar. Ela se relaciona com o abrangente depósito virtual de dados que existem nas redes sociais, sites, blogs e outras mídias digitais.
A estratégia de Big Data consiste na coleta, organização e análise dos dados em alto volume e com rapidez. Com uma boa Arquitetura de Dados, é possível aproveitar melhor o potencial do Big Data.
Para finalizar nosso artigo, vamos citar as principais vantagens em investir em uma boa Arquitetura de Dados: disponibilidade de dados, mais controle no compartilhamento de dados e melhor desempenho dos sistemas.
Dados são ativos-chave nas empresas modernas. Ao lado de Big Data e Arquitetura de Bancos de Dados, existe um conceito que também se destaca. Estamos falando de Data Analytics. Saiba mais sobre ele!