Data Analysis e Business Intelligence: conceitos

Pesquisas W.E.I.R.D.: em busca de pesquisas fora da caixa

Pesquisas W.E.I.R.D.: quando vemos a maior parte das pesquisas globais sobre economia, política e até de teorias comportamentais, seja no mundo acadêmico ou no mercado, elas são baseadas em dados coletados sobre pessoas padronizadas, que representam uma amostra muito limitada em relação à variedade de humanos que temos. Aonde estão os indianos, os negros, os orientais, os gays, as pessoas transexuais?

As pesquisas que só abordam determinada parcela da população são limitadas, globalmente publicadas e chamadas de “pesquisas W.E.I.R.D.”. Elas podem ser reduzidas ao clichê de “precisamos sair da caixa” das pesquisas.

W.E.I.R.D., em pesquisa, significa:

  • Western (ocidental);
  • Educated (educação superior);
  • Industrialized (industrializado/urbano);
  • Rich (rico).
  • Democratic (democrata).

No Brasil, podemos traçar vários perfis de “pesquisas WEIRD”. Um deles é:

  • Branco;
  • Heterossexual;
  • Ensino superior;
  • Vive em grandes metrópoles;
  • Rico: é das classes A e B;
  • Liberal (posicionamento político).

O desafio no Brasil passa por várias camadas, especialmente raciais e sociais. Se dermos um breve Google, o volume de pesquisas sobre quem está fora do padrão é absurdamente menor. Nesta minoria temos moradores da periferia, classe D,  transgêneros, bissexuais, mães solteiras, casais homoafetivos que adotaram crianças, retirantes nordestinos (ad infinitum).

O desafio das “9 dots” ou “thinking outside the box”
Hora do jogo

2015-11-12_outsidethebox_jogo

Ligue os pontos;
Use apenas quatro linhas retas;
Linhas devem ser conectadas (não dê o truque e tire a caneta do papel enquanto traça-as);
Você não pode refazer as linhas enquanto traça.

Para visualizar o resultado, clique aqui.

O resultado de ligar simples esferas é um paralelo matemático que podemos associar ao desafio ao pensar fora da caixa com as pesquisas, relatórios e soluções estratégicas. A “visão viciada” é comum, pois estamos ligamos mais ligados ao contexto do que já temos, às possibilidades concretas e aos pensamentos facilmente acessíveis.

As crianças costumam fazer o desafio das 9-dots com mais facilidade e rapidez do que os adultos. O “quebra a cabeça” é resolvido com menos “limitações de mundo”, menos conceitos pré-determinados. As crianças não possuem uma caixa clara ainda e usam a criatividade e experimentação. Em outras palavras, pensam sem limitação.

Christian Rudder a aplicação anti-W.E.I.R.D. no site OkCupid

2015-11-11_outsidethebox_gif1

Em seu livro “Dataclysm – Who We Are (When We Think No One’s Looking)”, o autor Christian Rudder aborda, em alguns momentos, as pesquisas W.E.I.R.D., apontando que elas limitam a nossa visão total do que está acontecendo. Rudder é co-fundador do site OkCupid, um dos sites de relacionamentos gratuitos mais populares do mundo, com mais de 3,5 milhões de usuários.

Por meio de gráficos e de explicações para comportamentos dos usuários, Rudder comprova que sair da amostra tradicional mostra novos cenários – que é o caso de sua pesquisa no site OkCupid. Ao analisar um dos maiores sites de relacionamento do mundo, ele procura ir além das “pessoas tradicionais” das pesquisas W.E.I.R.D. e investiga, também, asiáticos, negros e latinos.

Ao perguntar-se sobre o quê a equipe do OkCupid sabia sobre o comportamento e quais dados tinham da parcela de asiáticos, negros e latinos, ele concluiu:

“Não há muito que você pode fazer com o fato de que, estatisticamente, a banda menos negra na Terra é Belle & Sebastian, ou que o flash instantâneo em uma foto faz uma pessoa sentir-se sete anos mais velho, exceto para dizer, e talvez repetí-la em um jantar”.

(Christian Rudder, no livro “Dataclysm: Who we are”)

E foi explorando as possibilidades de vários tipos de pessoas que Hudder chegou em dados sobre a possibilidade de encontros entre pessoas de diferentes raças se conhecerem. O gráfico abaixo é feito junto ao DateHookUp, plataforma independente adquirida pelo OkCupid e que mostra uma base de usuários com preconceitos básicos na hora de conhecer o seu “crush” fora da internet:

2015-11-11_dataclysm_christianrudder_okcupid

  • Homens latinos e brancos são os que menos querem conhecer seus “dates” negros;
  • Mulheres latinas não costumam sair com homens asiáticos;
  • Mulheres brancas preferem sair com homens brancos;
  • Homens brancos preferem sair com mulheres brancas.

Fora da caixa

 

2015-11-11_outsidethebox_gif2

 

Ok. A expressão “fora da caixa” surgiu há mais de 20 anos e hoje em dia não podemos dizer que este mote é “fora da caixa”, pois já tornou-se clichê e… resumido, inclusive. Atualmente, é usada frequentemente no marketing e na publicidade. Mas qual, realmente, a sua aplicação? Quantas campanhas e pesquisas podemos listar que possuem dados sobre as pessoas fora do eixo W.E.I.R.D., mas que são atuantes na sociedade, mas nem sempre possuem visibilidade?

Pensar fora da caixa é olhar além do que foi coletado nas pesquisas e pensar no espaço “vazio” que ainda existe, para ir além dele e compor uma amostra completa. Para criar insights “fora da caixa” e aplicar de forma a criar Business Intelligence:

Abrangência da pesquisa:
– Quais pessoas esta pesquisa engloba?
– Quais soluções podem ser aplicadas?
– Qual as ideias/insights/conhecimentos que as soluções sugerem?

 

Menos dadinho, mais big data:
(Para pensar no cenário total, e não apenas no que salta aos olhos)

– Lato sensu, em latim, significa “sentido amplo”. Utilizada frequentemente para caracterizar determinada interpretação que deve ser abordada no sentido lato (abrangente);
– “Lato” sim. A abrangência das pesquisas é fundamental para sair que elas abordam Contido em si, dar o sentido de inclusão de muitos dados ou muitos fatos inerentes ao assunto.

Pesquisas W.E.I.R.D.: em busca de pesquisas fora da caixa Read More »

Data Analysis e Business Intelligence: conceitos

KPIs: o que são e como criar melhores indicadores

Criar melhores KPIs (Key Performance Indicators ou Indicadores de Desempenho) pede reflexão e alinhamento ao contexto e negócios.

Em Business Intelligence, uma parte do trabalho é analisar as métricas (afinal, BI também inclui limpar dados, extrair insights, traçar ações, fazer análise preditiva, entre outras tarefas).

Mas antes de executar a extração de dados, precisamos saber quais são as métricas iremos que medir.

É por isso que pego o conceito aqui de ontologia, um método que ajuda a entender o que analisar e como processar os dados. Também aprofundo um pouco sobre entender o significado desses dados: se eles fazem sentido no contexto e estão adequados ao objetivo, que é a semântica em Business Intelligence.

O que, em outras palavras: antes da métrica e do que vamos medir, necessitamos perguntar, entender e estruturar.

Abaixo, vou detalhar um pouco mais sobre semântica, ontologia e perguntas para melhorar a definição de KPIs:

Ontologia e semântica para ajudar a criar melhores KPIs

Já utilizada em linguagens de programação, a ontologia considera cada dado como parte ou objeto para a formação de uma estrutura, como se fosse um código criado por meio de indivíduos e classes.

O significado ontológico dos dados passa pela identificação do que é mais comum (padrões) e do que está entrando em evidência. Em outras palavras, seria a explicação de dados por meio de contexto e conhecimento:

Os conceitos e relacionamentos unidos são conhecidos como uma ontologia do modelo semântico que descreve conhecimento. Modelos semânticos permitem que os usuários façam perguntas da informação de uma forma natural e ajudar a identificar padrões e tendências desta informação e descobrir as relações entre peças diferentes de informações.

Dr. Mohammed Ahmed Turki AlSudairy na publicação Knowledge on demand approach using Business Intelligence and Ontology

Em business intelligence existem duas formas de lidar com os dados: a informacional e a estrutural. Se, por um lado, a estrutural foca na ferramenta, no modo informacional podemos analisar esses dados extraídos.

Abordagem administrativa Abordagem tecnológica
Foco no processo de extração e pós coleta dos dados, incluindo processos externos de analisá-las para extrair informações relevantes. Focos no processo tecnológico que faz parte do processo (a ferramenta e o meio, se formos considerar

Com informações de Petrini and Pozzebon, 2003. Petrini and Pozzebon (2003)

Ao ser aplicada para a web, a ontologia passa pelas definições de “semântica” ou “significado” (o que faz bastante sentido se ligada ao contexto e aos negócios) que podem ser medidos nos indicadores de desempenho.

semântica (substantivo feminino)

  1. ling estudo sincrônico ou diacrônico da significação como parte dos sistemas das línguas naturais.
  2. ling num sistema linguístico, o componente do sentido das palavras e da interpretação das sentenças e dos enunciados.

 

Por significado, entende-se:

significado (substantivo masculino)

  1. relação de reconhecimento, de apreço; valor, importância, significação, significância.
  2. m.q. SIGNIFICAÇÃO (‘representação mental’).

Depois entender quais são os elementos que fazem parte da nossa análise e o que precisamos responder, o próximo passo é a criação de KPIs (Key Performance Indicators, ou indicadores de desempenho).

Melhores KPIs pedem perguntas

Para traçarmos os KPIs, podemos começar por perguntas que façam sentido para aquele projeto.

Aqui abaixo listo 7 perguntas que podem ser feitas com base nesses conceitos, falando sobre estrutura e significado:

  1. Quais métricas podemos analisar, ou o que pode ser medido?

  2. Que ações podemos traçar a partir destes dados?

  3. Estes dados respondem às minhas perguntas principais?

  4. Estes dados são suficientes para a minha análise?

  5. Qual a abordagem mais adequada para a minha análise?

  6. Qual a importância desses dados?

  7. Como organizar esses dados de um modo que faça sentido?

Em resumo

A partir de estudos de ontologia e semântica no BI, podemos aprofundar as perguntas e criar KPIs melhores. Existem diversos autores que se dedicam a estudar o significado dos dados, e inclusive oferecem outras sugestões do que analisar em seus KPIs para torná-los mais cirúrgicos.

Quanto mais estrutura e significado os dados tiverem, melhores respostas e ações gerarem, mais adequado e funcional ele está.

Aqui, não existe receita de bolo, pois cada negócio possui sua própria régua. O que podemos fazer é aprofundar as perguntas e procurar padrões do mercado – mas às vezes temos que adicionar ou retirar alguma métrica do nosso plano de KPIs.

Muito ainda precisa ser feito para desenvolvermos ferramentas cada vez mais inteligentes e que apresentem dados mais minerados, com dashboards prontos ou métricas completas para cada necessidade. Mas já é possível, hoje em dia, irmos direto para algumas etapas da análise de dados. É aí que entram os insights mais rápidos, acompanhando a velocidade das informações que produzimos ou observamos.

Mais conteúdos

KPIs: o que são e como criar melhores indicadores Read More »

Data Analysis e Business Intelligence: conceitos

Ontologia e Business Intelligence: definições e apontamentos

Ontologia: não é novidade que, todos os dias, somos sobrecarregados de dados e informações. A transformação em conhecimento e sabedoria são os nossos insights, que consistem na análise do que foi apresentado e quais as oportunidades podem ser obtidas a partir deles. Em outras palavras, o trabalho da análise dos dados consiste na reflexão sobre o que foi obtido (cenário atual) e o que aquilo pode tornar-se (oportunidades, estratégias e busca por objetivos em seu negócio).

Se, por um lado, temos um mundo cada dia mais cheio de informações, por outro, nem sempre temos pessoas especializadas (ou dispostas) a analisar esse tipo de informação. E é aí que entra a importância metodológica e quase filosófica de aplicar a reflexão para saber sobre o que está sendo tratado e o que isso pode significar.

Definição e a essência da ontologia

Quando buscamos a análise, passamos por um período de mensuração, que inclui a classificação, que pode ser: a saúde da marca (se está mais positiva, negativa, apresenta neutralidade); categorias ou tags (palavras que representam temas ou assuntos) e o tipo da audiência para identificar o seu comportamento. Toda esta classificação acaba nos direcionando para vários campos. Um desses caminhos é a ontologia, que significa “o estudo do ser”.  

ontologia

substantivo feminino

  1. fil, segundo o aristotelismo, parte da filosofia que tem por objeto o estudo das propriedades mais gerais do ser, apartada da infinidade de determinações que, ao qualificá-lo particularmente, ocultam sua natureza plena e integral.

  2.  fil no heideggerianismo, reflexão a respeito do sentido abrangente do ser, como aquilo que torna possível as múltiplas existências [Opõe-se à tradição metafísica que, em sua orientação teológica, teria transformado o ser em geral num mero ente com atributos divinos.].

 

A ontologia foi bastante abordada pelo filósofo Martin Heidegger, escreve sobre o assunto indo um pouco além das primeiras definições de Aristóteles que consistem nas “classificações e interpretações”. Para Heidegger, existe “aquilo que é” e também “o que pode ser”. As coisas e as possibilidades. Dentro das possibilidades, existem diversos universos que podemos desenhar. O conceitos são filosóficos, mas não tão viajosos, pois eles podem ser aplicados. Se fôssemos resumir, para business intelligence a ontologia é bem prática e corresponde à nossa relação entre o dado (“o que é” e a informação/sabedoria (“o que pode ser”).

Aplicações da ontologia

A ontologia já é aplicada nas áreas de Tecnologia da Informação, Arquitetura/UX e especialmente em programação. É da base de linguagens como o Java e o CSS. Para alguns, é a tentativa de unir o “real” ao “virtual”, considerando cada dado como objeto e organizando-o para formar a cadeia de códigos. A divisão básica é composta de:

  • Indivíduos são os componentes básicos. Podem ser objetivos concretos ou abstratos. Ele compõe uma classificação de indivíduos.
  • Classes referem-se* a:

Um tipo definido pelo usuário que contém a “receita”, a especificação para os objetos, algo mais ou menos como o tipo inteiro contém o molde para as variáveis declaradas como inteiros. A classe envolve, associa, funções e dados, controlando o acesso a estes, defini-la implica em especificar os seus atributos (dados) e seus métodos (funções).

  • Toda classe possui um nome;
  • Possuem visibilidade, exemplo: public, private, protected;
  • Possuem membros como: Características e Ações.

* Com algumas informações da Fábrica de Software/Senac

 

Ontologia e business intelligence

A associação entre ontologia e business intelligence ainda é recente, mas já conseguimos encontrar alguns trabalhos interessantes sobre o assunto. Quando aplicamos esses conceitos, é importante separar o que se chama daquele conceito de business intelligence baseado nos códigos de programação da mais recente definição: o business intelligence como e criação de insights a partir dos dados.

 

Abordagem administrativa Abordagem tecnológica
Foco no processo de extração e pós coleta dos dados, incluindo processos externos de analisá-las para extrair informações relevantes. Focos no processo tecnológico que faz parte do processo (a ferramenta e o meio, se formos considerar

Com informações de Petrini and Pozzebon, 2003. Petrini and Pozzebon (2003)

Ontologia e Business Intelligence: definições e apontamentos Read More »

Data Analysis e Business Intelligence: conceitos

Data Strategy | Meta dados

Meta Dados

A visão de “data strategy” tem se popularizado devido à grande acumulação de dados nos últimos anos. Quando lemos jornais e revistas, precisamos filtrar o que há de relevante nas notícias e melhorar a compreensão por meio da análise; com o conjunto de dados, é o mesmo raciocínio.

Para criar uma estratégia de dados, existem alguns passos a serem feitos com o material coletado, começando na escolha da ferramenta que irá coletar esta informação bruta. Existem três passos fundamentais interdependentes para começar a traçar uma metodologia e a criar uma estratégia:

“Meta data” ou organização dos dados primários

O recorte da amostra dos dados e como ela será filtrada é essencial para tornar os dados em informação. Inicialmente, a segmentação de dados pode ser feita por palavras-chave, redes sociais e tipo de usuários por onde serão coletados. Já o tipo de informação que será analisada pode ser organizada por tipo, dividindo-a em categorias. Nem tudo o que é coletado pode servir para a sua estratégia, assim como nem tudo analisado pode ser útil para a aplicação. O filtro serve como forma de diminuir a amostra para um diferencial relevante, mas principalmente para destacar o essencial de cada caso. Junto desta metodologia de tagueamento e categorização, alguns outros pontos devem ser observados:

Segurança da informação por meio da escolha de servidores confiáveis;

Historicidade da pesquisa (dias, meses, anos, etc – determinar períodos específicos);

Ferramentas eficazes, bem como os níveis de administradores (identificar qual a ferramenta principal, a ferramenta de suporte, quem pode alterar todo o projeto, quem apenas irá editar, quem irá apenas ver e analisar, etc);

– O que será importante durante o processo e captura dos dados (exemplo: se existem problemas de coleta de determinado período, é necessário considerar no resultado final e incluir a meta data nas considerações finais, citando a ferramenta, algum dado acrescentado no processo);

– Gerenciamento de informações eficazes para a coleta de dados: valores válidos; consideração de múltiplas propostas para analisar os dados e escolher a melhor metodologia; considerar números negativos e positivos para chegar às conclusões, e não apenas a parte positiva.

Data Strategy | Meta dados Read More »

Rolar para cima