Após falar um pouco dos conceitos de Business Intelligence, quero agora abordar um pouco do lado prático de uma área de BI e colocar uma série de dicas que considero fundamentais para garantir o sucesso da área. Nesse primeiro artigo vou abordar dicas sob a ótica técnica, enumerando alguns dos pontos que os profissionais de TI, engenheiros e cientistas de dados precisam estar atentos. Num segundo artigo devo tratar da ótica do negócio. Pontuando preocupações que os times de marketing e produtos precisam se atentar para ajudar no sucesso da estratégia de dados de qualquer empresa.
Aspectos Técnicos
Aderência ao plano de arquitetura e política de Governança
Organização é um ponto chave para a construção e manutenção de uma área de Business Intelligence. Crie um plano de arquitetura que identifique, não só as ferramentas que serão utilizadas, mas também as origens do seu dado, as camadas de transformação e os ambientes de exploração do dado pelos seus usuários. Garanta que a sua área de Business Intelligence não possua bases duplicadas e seja a fonte única da verdade na sua organização. Acorde uma política de Governança com todo os usuários do seu BI. Estabeleça padrões de nomenclatura das suas tabelas e ambientes, limite o acesso dos usuários aos dados estritamente necessários para cada área.
Estabeleça os Data Owners
Não espere que os profissionais da sua área de Business Intelligence tenham o domínio completo de todas as bases de dados que estão no seu ambiente informacional. Esse conhecimento normalmente está e deve estar nas pontas. Na mão daquelas pessoas que usam com maior frequência cada tipo de dado. Combine com as áreas usuários quem será o proprietário de cada domínio de dado do seu ambiente. Essa pessoa deve ser um usuário sênior com conhecimento do negócio e que seja capaz de definir os significados e objetivos de cada campo, julgar quando um dado não possui qualidade, especificar novas aquisições de dados dentro do mesmo domínio e determinar momentos de expurgo e eliminação de alguma informação. Isso não significa que a área usuária terá um papel técnico na manutenção desses dados, mas sim que os seus engenheiros de dados terão alguém para direcioná-los nos temas de negócio.
Controle de Níveis de serviço e otimização de fluxos de carga
Um dado só é útil quando carregado com qualidade e no “time” que o negócio precisa. Para isso é fundamental uma monitoria constante dos processos de carga dentro do seu ambiente de dados. Tabelas crescem, chaves de cruzamento mudam, conteúdos ficam mais pesados, novos códigos são implantados e máquinas envelhecem. No meio de TI costuma-se dizer que “sistema que não meche não dá problema”, mas isso é utopia no universo de dados. O ambiente de dados está em constante mudança. Muitos aspectos podem levar a degradação do seu ambiente de dados, por isso é fundamental uma monitoria constante do desempenho e otimização das cadeias de carga. O uso de um software que gere logs e auxilie na gestão o seu ambiente é altamente recomendável.
Atualização tecnológica e de time
Nos dias atuais, isso tem sido comum em todas as áreas, mas no meio de dados em especial a evolução tecnológica anda num ritmo altamente acelerado. Todos os dias surgem novas formas e ferramentas para a aquisição, armazenamento e transformação do dado, novos softwares para exploração e visualização dos dados e principalmente novas ideias e funcionalidades para o uso de dados no negócio. Isso requer não só uma atenção especial na atualização das ferramentas, mas também dos times. O profissional de dados precisa ser um recurso técnico, mas também um sujeito muito antenado ao negócio e com facilidade para estar sempre apreendendo algo novo. Essas características tornam o profissional de dados um recurso muito valorizado no mercado e costumam gerar uma alta rotatividade nos times de BI. Contar com o apoio de uma consultoria especializada ou fábrica de software com uma boa capacidade de reposição e atualização das equipes e ferramentas pode ser bastante útil para mitigar riscos ao seu ambiente de dados.
Processo para tratamento de falhas
Por melhor que seja a implantação de uma nova facilidade informacional falhas vão acontecer. No desenvolvimento de sistemas tradicionais, normalmente é mais fácil você prever as possíveis falhas e criar cenários de teste para serem verificados antes da implantação. Nos sistemas informacionais, muitas vezes as falhas acontecem em decorrência do conteúdo do seu dado. Um valor de domínio que não era esperado, um caractere especial digitado indevidamente, uma tabela tradutora não atualizada pela área usuária e outros inúmeros pequenos problemas que podem interromper sua carga de dados. Na maioria das vezes são problemas de fácil solução, mas que se não tratados rapidamente podem afetar muito a qualidade do seu dado. Por isso é fundamental que você tenha processos, equipe e nível de serviço acordado para tratamento dessas falhas. Um sistema de workflow simples, para registro, tramitação e acionamento das equipes envolvidas pode auxiliar muito.
Política de expurgos
Com o custo de storage cada vez mais baixo, muitas vezes somos tentados a manter um histórico quase que infinito dos dados como forma de garantir grandes séries históricos para melhorar projeções, viabilizar comprovações jurídicas tributárias, etc. Isso é ótimo e o BigData realmente vai te permitir essas facilidades, mas é importante pensar numa arquitetura adequada para esso tipo de uso. O fato de manter uma base histórica muito longa guardada não significa que precisamos ter relacionamentos de tabelas com todo o histórico. Pense em manter bases operacionais para os processos de transformação mais atuais e bases históricas que não onerem o processamento diário do seu ambiente e eventualmente ocupem discos ou espaço em nuvem mais baratos. Fique atento também aos expurgos de dados que perderam sentido e principalmente aos dashboards que não são mais utilizados. Desligar dashboards fora do uso vai te permitir eliminar bons passos de transformação de dados que podem estar onerando e trazendo complexidade para a sustentação do seu ambiente de dados. Use o Data Owner. Saber orientar o que deixar de fazer é uma das funções primordiais dele.
Atualização e qualidade dos Metadados
Documentação de bases de dados talvez seja uma das coisas mais chatas de se fazer num desenvolvimento de solução de dados. Muitos profissionais consideram uma tremenda perda de tempo manter um dicionário de dados com todas as regras atualizadas, pois o volume de consulta a essas documentações, principalmente por parte dos usuários do dado é mínimo. Normalmente o usuário pergunta em vez de consultar a documentação. Sem contar que os projetos sem incluir a parte de documentação normalmente saem mais baratos. Não caia nessa armadilha. A criação de um metadados e um dicionário de dados rico, não é apenas para os usuários. Essa documentação é ainda mais importante para o seu arquiteto ou engenheiro de dados. Ter uma documentação eficiente vai agilizar seus desenvolvimentos futuros e vai evitar a duplicação de informação, o que é um terror não só para os usuários do dado, mas também para os técnicos que cuidam da sustentação do ambiente.
Proximidade e empatia com o negócio
Cuidado para não deixar seus técnicos da área de Business Intelligence longe do dia a dia do negócio. Muitas empresas optam por deixar essa área fora da estrutura de TI exatamente para garantir uma maior sinergia dos técnicos e desenvolvedores do time de dados com os analistas de negócios que usam os dados no dia a dia. O tal do “time to marketing” no mundo de dados deve ser uma preocupação constante dos engenheiros de dados que constroem um ambiente de dados. Se a sua área de Business Intelligence não tiver processos de desenvolvimentos ágeis para atender as necessidades das áreas de negócio, elas vão criar uma forma de buscar o dado sozinhas. Ai começa o surgimento dos núcleos isolados de dados e nascem os múltiplos resultados para um mesmo indicador. Mesmo que existam processos para absorver no BI, fontes de dados que são construídas pelos times de negócio, saiba que é sempre mais fácil construir uma nova estrutura de dados desde o início do que remendar algo que já está em uso e cheio de vícios.
