{"id":423,"date":"2023-12-27T02:09:46","date_gmt":"2023-12-27T02:09:46","guid":{"rendered":"https:\/\/wordpress.ft.unicamp.br\/revisa\/?page_id=423"},"modified":"2025-10-29T17:57:24","modified_gmt":"2025-10-29T17:57:24","slug":"data-warehousing","status":"publish","type":"page","link":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/","title":{"rendered":"Data Warehousing"},"content":{"rendered":"\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

O que \u00e9 Data Warehousing?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Data warehousing \u00e9 o processo de coletar, integrar, organizar e analisar dados de diversas fontes para apoiar a tomada de decis\u00f5es baseadas em dados. Um data warehouse \u00e9 um sistema que armazena os dados em um formato estruturado e otimizado para consultas e an\u00e1lises avan\u00e7adas, podendo oferecer v\u00e1rios benef\u00edcios para as organiza\u00e7\u00f5es, tais como:<\/p>\n

    \n
  • Tomada de decis\u00e3o adequada: o DW permite que os usu\u00e1rios de neg\u00f3cios acessem e explorem dados relevantes, confi\u00e1veis e consistentes para obter insights e orienta\u00e7\u00f5es sobre as melhores a\u00e7\u00f5es a serem tomadas;<\/li>\n
  • Dados consolidados de v\u00e1rias fontes: integra\u00e7\u00e3o de dados de sistemas transacionais, bancos de dados relacionais e outras fontes, criando uma vis\u00e3o unificada e abrangente dos dados da organiza\u00e7\u00e3o;<\/li>\n
  • An\u00e1lise de s\u00e9ries temporais: o data warehouse mant\u00e9m um registro hist\u00f3rico dos dados, permitindo que os usu\u00e1rios analisem as tend\u00eancias, os padr\u00f5es e as mudan\u00e7as ao longo do tempo;<\/li>\n
  • Qualidade, consist\u00eancia e precis\u00e3o de dados: o DW aplica processos de extra\u00e7\u00e3o, transforma\u00e7\u00e3o e carregamento (ETL) para limpar, padronizar e enriquecer os dados, garantindo que eles estejam livres de erros, duplica\u00e7\u00f5es e inconsist\u00eancias.<\/li>\n<\/ul>\n

    Um data warehouse t\u00edpico geralmente inclui os seguintes elementos:<\/p>\n

      \n
    • Um banco de dados relacional para armazenar e gerenciar dados;<\/li>\n
    • Uma solu\u00e7\u00e3o de extra\u00e7\u00e3o, carregamento e transforma\u00e7\u00e3o (ETL) para preparar os dados para an\u00e1lise;<\/li>\n
    • An\u00e1lise estat\u00edstica, relat\u00f3rios e recursos de minera\u00e7\u00e3o de dados;<\/li>\n
    • Ferramentas de an\u00e1lise de clientes para visualizar e apresentar dados aos usu\u00e1rios de neg\u00f3cios.<\/li>\n<\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t

      Exemplo pr\u00e1tico<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t\t\t

      <\/p>\n

      Ao explorar dados sobre ocorr\u00eancias criminais em S\u00e3o Paulo, empregamos t\u00e9cnicas de ETL, conhecidas como Extract, Transform, Load. Essas t\u00e9cnicas permitem a extra\u00e7\u00e3o de dados brutos de diferentes fontes (Extract), no nosso caso do Google Drive, a transforma\u00e7\u00e3o para garantir que estejam consistentes e prontos para an\u00e1lise (Transform), e o carregamento desses dados em um formato adequado para serem utilizados em ferramentas de an\u00e1lise (Load), no nosso caso o carregamento em um arquivo JSON.<\/p>\n

      <\/p>\n

      <\/p>\n

      Antes de mergulharmos nos detalhes da an\u00e1lise, precisamos estabelecer uma conex\u00e3o com os arquivos armazenados no drive.<\/p>\n

      <\/p>\n

      <\/p>\n

      from google.colab import drive\ndrive.mount('\/content\/drive')<\/code><\/pre>\n
      <\/p>\n
      <\/p>\n
      N\u00f3s utilizamos a funcionalidade do Colab demonstrada acima para montar o Google Drive no ambiente de execu\u00e7\u00e3o, onde nossos dados est\u00e3o armazenados.<\/p>\n
      <\/p>\n
      <\/p>\n
      import os\nimport pandas as pd\n\n\nbase_dir       = \"drive\/MyDrive\/safeway\/\"\ndata_file_name = \"SPDadosCriminais_2023\"\ndata_file_ext  = \".xlsx\"\ndf = pd.read_excel(base_dir + data_file_name + data_file_ext)\ndf.shape\n<\/code><\/pre>\n
      <\/p>\n
      <\/p>\n
      Antes de come\u00e7armos a trabalhar com os dados, \u00e9 fundamental definir o caminho correto para acessar nossos arquivos. O trecho acima faz exatamente isso. Utilizamos a biblioteca Pandas para ler o arquivo Excel contendo dados sobre ocorr\u00eancias criminais em S\u00e3o Paulo e carregar os dados base para nossas descobertas a partir do diret\u00f3rio base, nome do arquivo e sua extens\u00e3o.<\/p>\n
      <\/p>\n
      <\/p>\n
      df_bak = df.copy()\ndf.columns\n<\/code><\/pre>\n
      <\/p>\n
      <\/p>\n
      \"\"<\/figure>\n
      <\/p>\n
      <\/p>\n
      \u00a0<\/p>\n
      <\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
      \n\t\t\t\t\t
      \n\t\t
      \n\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
      \n\t\t\t\t\t
      \n\t\t
      \n\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t\t\t
      Utilizamos df.dropna para eliminarmos as linhas em que a latitude ou a longitude estejam sem valor, ou seja, localiza\u00e7\u00f5es inv\u00e1lidas. As dimens\u00f5es atualizadas do DataFrame e a lista de colunas s\u00e3o exibidas usando print(df.shape) e print(df.columns).<\/p>\n
      \u00a0<\/p>\n
      f.drop('NOME_DEPARTAMENTO', axis='columns', inplace=True)\ndf.drop('NOME_SECCIONAL', axis='columns', inplace=True)\ndf.drop('NOME_DELEGACIA', axis='columns', inplace=True)\ndf.drop('NUM_BO', axis='columns', inplace=True)\ndf.drop('ANO_BO', axis='columns', inplace=True)\ndf.drop('DATA_COMUNICACAO', axis='columns', inplace=True)\ndf.drop('NOME_DELEGACIA_CIRCUNSCRI\u00c7\u00c3O', axis='columns', inplace=True)\ndf.drop('NOME_DEPARTAMENTO_CIRCUNSCRI\u00c7\u00c3O', axis='columns', inplace=True)\ndf.drop('NOME_SECCIONAL_CIRCUNSCRI\u00c7\u00c3O', axis='columns', inplace=True)\ndf.drop('ANO_ESTATISTICA', axis='columns', inplace=True)<\/code><\/pre>\n
      \u00a0<\/p>\n
      Como parte do processo de simplifica\u00e7\u00e3o e foco em atributos cruciais para nossa an\u00e1lise, v\u00e1rias colunas foram removidas do DataFrame, como o nome do departamento, a seccional, a delegacia, o n\u00famero do boletim de ocorr\u00eancia (NUM_BO), o ano do boletim (ANO_BO), a data de comunica\u00e7\u00e3o (DATA_COMUNICACAO), al\u00e9m de outras relacionadas \u00e0 circunscri\u00e7\u00e3o e estat\u00edstica.<\/p>\n
      \u00a0<\/p>\n
      Esse passo de limpeza visa reduzir a complexidade dos dados, concentrando-nos nas vari\u00e1veis que mais impactam nossa an\u00e1lise das ocorr\u00eancias criminais em S\u00e3o Paulo.<\/p>\n
      \u00a0<\/p>\n
      df[:30]<\/code><\/pre>\n
      \u00a0<\/p>\n
      <\/figure>\n
      \u00a0<\/p>\n
      Exibimos as primeiras 30 linhas do DataFrame para ter uma ideia inicial dos dados.<\/p>\n
      \u00a0<\/p>\n
      df['NATUREZA_APURADA'].unique()<\/code><\/pre>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
      \n\t\t\t\t\t
      \n\t\t
      \n\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
      \n\t\t\t\t\t
      \n\t\t
      \n\t\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t\t\t
      Exploramos os valores \u00fanicos em uma coluna espec\u00edfica (‘NATUREZA_APURADA’) para entender a diversidade das ocorr\u00eancias presentes nos dados.<\/p>\n
      \u00a0<\/p>\n
      df = df[df.LATITUDE != 0.0]\ndf[['LATITUDE', 'LONGITUDE']].describe()\n\n# Removing zeros for now\nprint(df['LONGITUDE'].value_counts())\ndf = df[df.LATITUDE != 0.0]\ndf[['LATITUDE', 'LONGITUDE']].describe()<\/code><\/pre>\n
      \u00a0<\/p>\n
      Decidimos eliminar as coordenadas com latitude 0 para nossas an\u00e1lises regionais. Ao observarmos as estat\u00edsticas descritivas para ‘LATITUDE’ e ‘LONGITUDE’ com df[[‘LATITUDE’, ‘LONGITUDE’]].describe(), estamos melhorando a qualidade dos dados que ser\u00e3o a base de nossas an\u00e1lises futuras, pois queremos explorar tend\u00eancias em rela\u00e7\u00e3o \u00e0s regi\u00f5es.<\/p>\n
      \u00a0<\/p>\n
      df.to_json(base_dir + \"cleaned_\" + data_file_name + \".json\", orient=\"records\")<\/code><\/pre>\n
      \u00a0<\/p>\n
      Exportamos os dados preparados para um arquivo JSON. Este arquivo, chamado “cleaned_SPDadosCriminais_2023.json”, servir\u00e1 como uma vers\u00e3o refinada e pronta para an\u00e1lise de nossos dados criminais de S\u00e3o Paulo.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"
      O que \u00e9 Data Warehousing? Data warehousing \u00e9 o processo de coletar, integrar, organizar e analisar dados de diversas fontes para apoiar a tomada de […]<\/p>\n","protected":false},"author":112,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-423","page","type-page","status-publish","hentry"],"yoast_head":"\nData Warehousing - REVISA<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Data Warehousing - REVISA\" \/>\n<meta property=\"og:description\" content=\"O que \u00e9 Data Warehousing? Data warehousing \u00e9 o processo de coletar, integrar, organizar e analisar dados de diversas fontes para apoiar a tomada de […]\" \/>\n<meta property=\"og:url\" content=\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/\" \/>\n<meta property=\"og:site_name\" content=\"REVISA\" \/>\n<meta property=\"article:modified_time\" content=\"2025-10-29T17:57:24+00:00\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data1\" content=\"5 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/\",\"url\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/\",\"name\":\"Data Warehousing - REVISA\",\"isPartOf\":{\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#primaryimage\"},\"thumbnailUrl\":\"http:\/\/localhost\/sad\/wp-content\/uploads\/2023\/11\/image.png\",\"datePublished\":\"2023-12-27T02:09:46+00:00\",\"dateModified\":\"2025-10-29T17:57:24+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#primaryimage\",\"url\":\"http:\/\/localhost\/sad\/wp-content\/uploads\/2023\/11\/image.png\",\"contentUrl\":\"http:\/\/localhost\/sad\/wp-content\/uploads\/2023\/11\/image.png\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Data Warehousing\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/#website\",\"url\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/\",\"name\":\"REVISA\",\"description\":\"A REvista VIrtual de Sistemas de Apoio a decis\u00e3o \u00e9 escrita por alunos de Sistemas de Apoio \u00e0 Decis\u00e3o da FT\/UNICAMP e estende a excel\u00eancia da gradua\u00e7\u00e3o para toda comunidade.\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/wordpress.ft.unicamp.br\/revisa\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Data Warehousing - REVISA","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/","og_locale":"pt_BR","og_type":"article","og_title":"Data Warehousing - REVISA","og_description":"O que \u00e9 Data Warehousing? Data warehousing \u00e9 o processo de coletar, integrar, organizar e analisar dados de diversas fontes para apoiar a tomada de […]","og_url":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/","og_site_name":"REVISA","article_modified_time":"2025-10-29T17:57:24+00:00","twitter_card":"summary_large_image","twitter_misc":{"Est. tempo de leitura":"5 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/","url":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/","name":"Data Warehousing - REVISA","isPartOf":{"@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/#website"},"primaryImageOfPage":{"@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#primaryimage"},"image":{"@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#primaryimage"},"thumbnailUrl":"http:\/\/localhost\/sad\/wp-content\/uploads\/2023\/11\/image.png","datePublished":"2023-12-27T02:09:46+00:00","dateModified":"2025-10-29T17:57:24+00:00","breadcrumb":{"@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#primaryimage","url":"http:\/\/localhost\/sad\/wp-content\/uploads\/2023\/11\/image.png","contentUrl":"http:\/\/localhost\/sad\/wp-content\/uploads\/2023\/11\/image.png"},{"@type":"BreadcrumbList","@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/data-warehousing\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/wordpress.ft.unicamp.br\/revisa\/"},{"@type":"ListItem","position":2,"name":"Data Warehousing"}]},{"@type":"WebSite","@id":"https:\/\/wordpress.ft.unicamp.br\/revisa\/#website","url":"https:\/\/wordpress.ft.unicamp.br\/revisa\/","name":"REVISA","description":"A REvista VIrtual de Sistemas de Apoio a decis\u00e3o \u00e9 escrita por alunos de Sistemas de Apoio \u00e0 Decis\u00e3o da FT\/UNICAMP e estende a excel\u00eancia da gradua\u00e7\u00e3o para toda comunidade.","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/wordpress.ft.unicamp.br\/revisa\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"}]}},"_links":{"self":[{"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/pages\/423","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/users\/112"}],"replies":[{"embeddable":true,"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/comments?post=423"}],"version-history":[{"count":10,"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/pages\/423\/revisions"}],"predecessor-version":[{"id":678,"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/pages\/423\/revisions\/678"}],"wp:attachment":[{"href":"https:\/\/wordpress.ft.unicamp.br\/revisa\/wp-json\/wp\/v2\/media?parent=423"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}