SIM

Fluxo ETL: SIM

A documentação a seguir apresenta o processo ETL (extract, transform, load) aplicado aos dados do Sistema de Informações sobre Mortalidade (SIM) do DATASUS para indexação na Plataforma de Ciência de Dados aplicada à Saúde (PCDaS). O processo ETL aplicado consiste basicamente em:

Extract:

• Acessar o servidor FTP do DATASUS e baixar os arquivos com extensão .dbc contendo os microdados anônimos do SIM para cada estado e para cada ano disponível/desejado;
• Converter os arquivos baixados para a extensão .dbf;
• Ler e unir os arquivos em um único conjunto de dados para posterior tratamento.

Transform:

• Tratar o conjunto de dados adquirido de maneira a:
  • Eliminar valores inválidos;
  • Decodificar e enriquecer os dados de acordo com dicionário de dados do SIM;
  • Enriquecer os dados relacionados a município;
  • Enriquecer os dados relacionados a UF;
  • Enriquecer os dados relacionados a Classificação Estatística Internacional de Doenças e Problemas Relacionados com a Saúde (CID10);
  • Enriquecer os dados relacionados a data e idade;
  • Enriquecer os dados relacionados a coordenadas.

Load:

• Indexar dados tratados do SIM em banco de dados NoSQL Elasticsearch localizado em infraestrutura do PCDaS no Laboratório Nacional de Computação Científica (LNCC);
• Coletar log de indexação.

A implementação de todo o fluxo ETL descrito foi feita no ambiente da ferramenta Dataiku Data Science Studio (DSS). Este processo ETL é reexecutado para cada ano selecionado disponível no servidor FTP do DATASUS. Uma visão geral do fluxo ETL é apresentada no diagrama a seguir:

            Fase Extract                                      Fase Transform                                      Fase Load

Detalhes de código/dados da implementação do fluxo ETL são apresentados a seguir.

Fase Extract:

1: Acessando o servidor FTP do Datasus e baixando os arquivos com extensão .dbc contendo os dados do SIM para cada estado e para cada ano disponível/desejado;

Código R:

Função para fazer download de arquivos .dbc do SIM a partir do FTP do Datasus:

download.dbc <- function(ftp_path,
                         dest_files_path = getwd(),
                         estados = NULL, anos = NULL){
  require(RCurl)
  require(tidyverse)
  
  url <- ftp_path
  #userpwd <- "yourUser:yourPass"
  #recupera o nome dos arquivos em ftp_path
  filenames <- getURL(url, userpwd = NULL,
                      ftp.use.epsv = FALSE,dirlistonly = TRUE)
  filenames <- unlist(strsplit(filenames,"\n"))
  filenames <- data.frame(filename=filenames)
  filenames <- data.frame(lapply(filenames, as.character), stringsAsFactors=FALSE)
  
  #filtra os estados desejados se estes forem especificados
  if(!is.null(estados)){
    filenames <- filenames %>%
      filter(str_detect(filename, paste(estados,sep="",collapse = '|')))
  }
  #filtra os anos desejados se estes forem especificados
  if(!is.null(anos)){
    filenames <- filenames %>%
      filter(str_detect(filename, paste(anos,sep="",collapse = '|')))
  }
  
  #faz download dos arquivos selecionados e salva os arquivos em dest_files_path
  for (filename in filenames$filename) {
    download.file(paste(url, filename, sep = ""), paste(dest_files_path, "/", filename, sep = ""))
  }
  
  #retorna um data.frame com os nomes e caminho dos arquivos
  return(data.frame(file_name=filenames$filename,file_path=dest_files_path))
}

Código para fazer download de arquivos .dbc do SIM a partir do FTP do Datasus:

#============[INTERAÇÂO DSS]============
library(dataiku)
library(dplyr)
#===========================================

#Caminho para função "download.dbc.sim"
path.script = "https://github.com/bigdata-icict/ETL-Dataiku-DSS/download.dbc.r"

#Caminho FTP Datasus
ftp_path = "ftp://ftp.datasus.gov.br/dissemin/publicos/SIM/CID10/DORES/"

#============[EDITAR]============
#Local para salvamento dos arquivos .dbc
path.data = "path_dbc_files"
#================================

#============[OPCIONAL]============
#filtros de estado e/ou anos
estados = c("RJ") #exemplo
anos = 2000:2014 #exemplo
#==================================

#Carrega função "download.dbc.sim"
if(!exists("download.dbc.sim", mode="function")) source(path.script)

# Computa retorno da receita: nome dos arquivos .dbc baixados
datasus_files_list <- download.dbc.sim(ftp_path = ftp_path,
                                       dest_files_path = path.data,
                                       estados = estados,
                                       anos = anos)

#============[INTERAÇÂO DSS]============ -> Alternativa: salvar data.frame em arquivo .csv 
# Retornando resultados para dataset do DSS
dkuWriteDataset(datasus_files_list,"datasus",schema = TRUE)
#===========================================

Retorno (exemplo):

2: Convertendo os arquivos baixados para a extensão .dbf e então lendo e unindo os arquivos em um único conjunto de dados no DSS para posterior tratamento.

Código R:

Função para converter, ler e unir os arquivos de dados do SIM:

load.dbc.sim <- function(files){
  require(read.dbc)
  
  do_from_DBC = data.frame()
  
  for(f in files){
    bind_rows( do_from_DBC, read.dbc(f) ) -> do_from_DBC
  }
  
  return(do_from_DBC)
}

Código para converter, ler e unir arquivos de dados do SIM e escrever conjunto de dados resultantes no DSS:

#============[INTERAÇÂO DSS]============
library(dataiku)
library(dplyr)
#===========================================

#Instala o pacote "read.dbc"
#install.packages("read.dbc") 

#Caminho para função "load.dbc.sim"
path.script = "https://github.com/bigdata-icict/ETL-Dataiku-DSS/SIM/load.dbc.sim.r"

#Carrega função "load.dbc.sim"
if(!exists("load.dbc.sim", mode="function")) source(path.script)

#============[INTERAÇÂO DSS]============  -> Alternativa: leitura de data.frame a partir de arquivo .csv
#Acessa lista de arquivos baixados para posterior conversão e leitura 
datasus_files_list <- dkuReadDataset("datasus")
#===========================================

#Concatena caminhos e nomes dos arquivos
datasus_files_list <- paste(datasus_files_list$file_path,datasus_files_list$file_name,sep="")

# Computa retorno da receita: dados do SIM advindos de todos os arquivos .dbc baixados
do_from_DBC <- load.dbc.sim(datasus_files_list)

#============[INTERAÇÂO DSS]============ -> Alternativa: salvar data.frame em arquivo .csv
# Retornando resultados para dataset do DSS
dkuWriteDataset(do_from_DBC, "DORES",schema = TRUE)
#===========================================

Retorno (exemplo):

Fase Transform:

A transformação/preparação dos dados foi feita utilizando-se funcionalidades (processors) disponíveis no ambiente da ferramenta Dataiku Data Science Studio (DSS). A receita ("recipe") utilizada está disponível para download/visualização através dos arquivos json:

prepare_DORES.json e prepare_DORES.shaker

Alguns detalhes do tratamento dos dados são apresentados a seguir, onde colunas com nomes em maiúsculo representam dados originais advindos do DATASUS e colunas com nomes em minúsculo representam dados resultantes de tratamento:

1: Eliminando valores inválidos:

2: Decodificando e enriquecendo os dados:

3: Enriquecendo os dados relacionados a município:

O enriquecimento dos dados do SIM relacionados a município foram baseados nos dados disponíveis no seguinte arquivo:

Dados - Município

4: Enriquecendo os dados relacionados a UF:

O enriquecimento dos dados do SIM relacionados a UF foram baseados nos dados disponíveis no seguinte arquivo:

Dados - UF

5: Enriquecendo os dados relacionados a CID 10:

O enriquecimento dos dados do SIM relacionados a CID10 foram baseados nos dados disponíveis nos seguintes arquivos:

CID10 - Capítulos, CID10 - Grupos, CID10 - Categorias, CID10 - Subcategorias

6: Enriquecendo os dados relacionados a data e idade:

7: Enriquecendo os dados relacionados a coordenadas:

Retorno da fase de tratamento (exemplo):

Fase Load:

1: Indexando dados tratados do SIM em banco de dados NoSQL Elasticsearch:

Uma vez finalizada a trasformação/preparação dos dados, estes são indexados em um servidor de banco de dados NoSQL Elasticsearch localizado em infraestrutura da PCDaS no LNCC.

Código Python:

O código utilizado para indexação está disponível em formato Jupyter Notebook: Notebook Python

Retorno - log de indexação (exemplo):

Dados e dicionário de variáveis - SIM:

O download e a prévia do conjunto de dados resultante de todo o tratamento realizado e indexado no Elasticsearch estão disponíveis na PCDaS, assim como o dicionário de variáveis.

Dashboards Kibana:

Os dados SIM indexados no Elasticsearch possibilitam o desenvovimento de dashboards Kibana para a visualização simples, rápida e dinâmica de grandes quantidades de dados. Os dashboards desenvolvidos estão disponíveis para visualização na PCDaS na seção de Análise visual.