From aad20565056b8987c9978f294309b30945fe1098 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Jo=C3=A3o=20Victor=20Frans=20Pondaco=20Winandy?= <jvfpw18@inf.ufpr.br> Date: Wed, 12 Jun 2019 10:10:36 -0300 Subject: [PATCH] Revert "Move protocols of smppir to main folder" This reverts commit e663fc63bd8b39b2b2dd4b8f0bed5af52c04d937. --- Code/Config/configCADUNICO.config | 21 +++ Code/Config/configFIES.config | 24 ++++ Code/Config/configINEP.config | 47 +++++++ Code/Config/configINEP_Experiment.config | 35 +++++ Code/updateFileEncoding.rb | 123 ++++++++++++++++++ .../aluno_ens_superior.csv | 0 .../curso_ens_superior.csv | 0 .../docente_ens_superior.csv | 0 .../equipes_saude.csv | 0 .../familias_cadunico.csv | 0 fies.csv => Protocols/fies.csv | 0 .../ies_ens_superior.csv | 0 .../localoferta_ens_superior.csv | 0 .../ocde_ens_superior.csv | 0 .../pessoas_cadunico.csv | 0 pnad_smppir.csv => Protocols/pnad.csv | 0 prouni.csv => Protocols/prouni.csv | 0 Table_Definitions/aluno_ens_superior.json | 22 ++++ Table_Definitions/curso_ens_superior.json | 12 ++ Table_Definitions/docente_ens_superior.json | 17 +++ Table_Definitions/equipes_saude.json | 6 + Table_Definitions/familias_cadunico.json | 13 ++ Table_Definitions/fies.json | 6 + Table_Definitions/ies_ens_superior.json | 12 ++ .../localoferta_ens_superior.json | 27 ++++ Table_Definitions/ocde_ens_superior.json | 6 + Table_Definitions/pessoas_cadunico.json | 17 +++ Table_Definitions/pnad.json | 12 ++ Table_Definitions/prouni.json | 6 + 29 files changed, 406 insertions(+) create mode 100644 Code/Config/configCADUNICO.config create mode 100644 Code/Config/configFIES.config create mode 100644 Code/Config/configINEP.config create mode 100644 Code/Config/configINEP_Experiment.config create mode 100644 Code/updateFileEncoding.rb rename aluno_ens_superior.csv => Protocols/aluno_ens_superior.csv (100%) rename curso_ens_superior.csv => Protocols/curso_ens_superior.csv (100%) rename docente_ens_superior.csv => Protocols/docente_ens_superior.csv (100%) rename equipes_saude.csv => Protocols/equipes_saude.csv (100%) rename familias_cadunico.csv => Protocols/familias_cadunico.csv (100%) rename fies.csv => Protocols/fies.csv (100%) rename ies_ens_superior.csv => Protocols/ies_ens_superior.csv (100%) rename localoferta_ens_superior.csv => Protocols/localoferta_ens_superior.csv (100%) rename ocde_ens_superior.csv => Protocols/ocde_ens_superior.csv (100%) rename pessoas_cadunico.csv => Protocols/pessoas_cadunico.csv (100%) rename pnad_smppir.csv => Protocols/pnad.csv (100%) rename prouni.csv => Protocols/prouni.csv (100%) create mode 100644 Table_Definitions/aluno_ens_superior.json create mode 100644 Table_Definitions/curso_ens_superior.json create mode 100644 Table_Definitions/docente_ens_superior.json create mode 100644 Table_Definitions/equipes_saude.json create mode 100644 Table_Definitions/familias_cadunico.json create mode 100644 Table_Definitions/fies.json create mode 100644 Table_Definitions/ies_ens_superior.json create mode 100644 Table_Definitions/localoferta_ens_superior.json create mode 100644 Table_Definitions/ocde_ens_superior.json create mode 100644 Table_Definitions/pessoas_cadunico.json create mode 100644 Table_Definitions/pnad.json create mode 100644 Table_Definitions/prouni.json diff --git a/Code/Config/configCADUNICO.config b/Code/Config/configCADUNICO.config new file mode 100644 index 0000000..7be8b6c --- /dev/null +++ b/Code/Config/configCADUNICO.config @@ -0,0 +1,21 @@ +{ + "remove":["\""], + "change_float_point":true, + "change_encoding":true, + "encoding_in":"ASCII", + "encoding_out":"UTF-8", + "files":[ + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201212.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201312.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201412.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201512.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201612.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201712.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201212.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201312.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201412.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201512.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201612.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201712.csv" + ] +} \ No newline at end of file diff --git a/Code/Config/configFIES.config b/Code/Config/configFIES.config new file mode 100644 index 0000000..d019681 --- /dev/null +++ b/Code/Config/configFIES.config @@ -0,0 +1,24 @@ +{ + "remove":["\r","\""], + "change_float_point":true, + "change_encoding":true, + "encoding_in":"ISO-8859-14", + "encoding_out":"UTF-8", + "files":[ + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2011.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2012.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2013.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2014.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2015.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2016.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2017.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2010.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2011.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2012.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2013.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2014.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2015.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2016.csv", + "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2017.csv" + ] +} \ No newline at end of file diff --git a/Code/Config/configINEP.config b/Code/Config/configINEP.config new file mode 100644 index 0000000..2ef0cef --- /dev/null +++ b/Code/Config/configINEP.config @@ -0,0 +1,47 @@ +{ + "remove":["\r"], + "change_float_point":false, + "change_encoding":true, + "encoding_in":"ISO-8859-14", + "encoding_out":"UTF-8", + "files":[ + + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_LOCAL_OFERTA.CSV", + + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_LOCAL_OFERTA.CSV", + + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_LOCAL_OFERTA.CSV" + ] +} diff --git a/Code/Config/configINEP_Experiment.config b/Code/Config/configINEP_Experiment.config new file mode 100644 index 0000000..dd3b124 --- /dev/null +++ b/Code/Config/configINEP_Experiment.config @@ -0,0 +1,35 @@ +{ + "remove":["\r"], + "change_float_point":false, + "change_encoding":true, + "encoding_in":"ISO-8859-14", + "encoding_out":"UTF-8", + "files":[ + + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_LOCAL_OFERTA.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_ALUNO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_CURSO.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_DOCENTE.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_IES.CSV", + "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_LOCAL_OFERTA.CSV" + ] +} diff --git a/Code/updateFileEncoding.rb b/Code/updateFileEncoding.rb new file mode 100644 index 0000000..7d0a080 --- /dev/null +++ b/Code/updateFileEncoding.rb @@ -0,0 +1,123 @@ +require 'colorize' # gem install colorize +require 'json' + +# The class Toolbox contains all tools needed to treat files before +# use it with SIMCAQ's tools +class Toolbox + @@checkmark = " \u2713" + @@dot = "\u26AB " + def get_file_size(file) + get_size = "ls -lh #{file}" + `#{get_size}`.split(' ')[4] + end + + def convert_encoding(file_in, file_out, encoding_in = 'ISO-8859-14', + encoding_out = 'UTF-8') + cmd = "iconv -f #{encoding_in} #{file_in} -t #{encoding_out} -o #{file_out}" + print @@dot + 'Convertendo o Encoding do arquivo'.blue.bold + system(cmd) + puts @@checkmark.encode('utf-8').green.bold + end + + def remove_character(file_in, file_out, character = '\r') + char_name = + if character == "\r" + 'CRLF' + else + (character == "\"") || (character == "\'") ? 'Aspas' : character + end + cmd = "tr -d '#{character}' < #{file_in} > #{file_out}" + print @@dot + "Removendo o #{char_name}".blue.bold + system(cmd) + puts @@checkmark.encode('utf-8').green.bold + end + + def change_float_separator(file) + cmd = "sed -i -e 's/,/\./g' #{file}" + print @@dot + 'Substituindo vírgula por ponto'.blue.bold + system(cmd) + puts @@checkmark.encode('utf-8').green.bold + end + + def clean_directory(files) + cmd = "rm #{files}" + print @@dot + 'Limpando o diretório'.blue.bold + system(cmd) + puts @@checkmark.encode('utf-8').green.bold + end + + def rename_file(file_in, file_out) + cmd = "mv #{file_in} #{file_out}" + print @@dot + 'Renomeando arquivo '.blue.bold + + file_in.split('/').last.to_s.yellow.bold+ ' para '.bold.blue + + file_out.split('/').last.to_s.bold.green + system(cmd) + puts @@checkmark.encode('utf-8').green.bold + end +end + +# The class main is used to initialize the software. +class Main + def initialize + @tools = Toolbox.new + @number_of_arguments = ARGV.length + @arguments = JSON.parse(File.read(ARGV[0])) + @remove = @arguments['remove'] + @change_float_point = @arguments['change_float_point'] + @change_encoding = @arguments['change_encoding'] + @files = @arguments['files'] + if @change_encoding + @encoding_in = @arguments['encoding_in'] + @encoding_out = @arguments['encoding_out'] + else + @encoding_in = nil + @encoding_out = nil + end + end + + def update_file + @files.each_with_index do |f, i| + print "\n--- Trabalhando ".light_cyan.bold + + "no arquivo #{f.split('/').last} ".light_cyan.bold + + "(#{@tools.get_file_size(f)})".light_magenta.bold + + " (Arquivo #{i+1} de #{@files.length}) ---\n\n".bold + cleanup_files = [f] + if @change_encoding + @tools.convert_encoding(f, "#{f.split('.')[0]}-encoded.csv", + @encoding_in, @encoding_out) + f = "#{f.split('.')[0]}-encoded.csv" + cleanup_files << f + end + unless @remove.empty? + @remove.each_with_index do |r, i| + @tools.remove_character(f, "#{f.split('.')[0]}-removed#{i + 1}.csv", + r) + f = "#{f.split('.')[0]}-removed#{i + 1}.csv" + cleanup_files << f + end + end + @tools.change_float_separator(f) if @change_float_point + last_name = cleanup_files.pop + remove_files = '' + cleanup_files.each do |cf| + remove_files = cf + ' ' + end + @tools.clean_directory(remove_files) + @tools.rename_file(last_name, cleanup_files[0]) + end + end + + def main + case @number_of_arguments + when 0 + puts 'todo: mensagem de ajuda' + when 1 + update_file + else + puts 'TODO:CASE ELSE' + end + end +end + +Main.new.main +puts '' \ No newline at end of file diff --git a/aluno_ens_superior.csv b/Protocols/aluno_ens_superior.csv similarity index 100% rename from aluno_ens_superior.csv rename to Protocols/aluno_ens_superior.csv diff --git a/curso_ens_superior.csv b/Protocols/curso_ens_superior.csv similarity index 100% rename from curso_ens_superior.csv rename to Protocols/curso_ens_superior.csv diff --git a/docente_ens_superior.csv b/Protocols/docente_ens_superior.csv similarity index 100% rename from docente_ens_superior.csv rename to Protocols/docente_ens_superior.csv diff --git a/equipes_saude.csv b/Protocols/equipes_saude.csv similarity index 100% rename from equipes_saude.csv rename to Protocols/equipes_saude.csv diff --git a/familias_cadunico.csv b/Protocols/familias_cadunico.csv similarity index 100% rename from familias_cadunico.csv rename to Protocols/familias_cadunico.csv diff --git a/fies.csv b/Protocols/fies.csv similarity index 100% rename from fies.csv rename to Protocols/fies.csv diff --git a/ies_ens_superior.csv b/Protocols/ies_ens_superior.csv similarity index 100% rename from ies_ens_superior.csv rename to Protocols/ies_ens_superior.csv diff --git a/localoferta_ens_superior.csv b/Protocols/localoferta_ens_superior.csv similarity index 100% rename from localoferta_ens_superior.csv rename to Protocols/localoferta_ens_superior.csv diff --git a/ocde_ens_superior.csv b/Protocols/ocde_ens_superior.csv similarity index 100% rename from ocde_ens_superior.csv rename to Protocols/ocde_ens_superior.csv diff --git a/pessoas_cadunico.csv b/Protocols/pessoas_cadunico.csv similarity index 100% rename from pessoas_cadunico.csv rename to Protocols/pessoas_cadunico.csv diff --git a/pnad_smppir.csv b/Protocols/pnad.csv similarity index 100% rename from pnad_smppir.csv rename to Protocols/pnad.csv diff --git a/prouni.csv b/Protocols/prouni.csv similarity index 100% rename from prouni.csv rename to Protocols/prouni.csv diff --git a/Table_Definitions/aluno_ens_superior.json b/Table_Definitions/aluno_ens_superior.json new file mode 100644 index 0000000..f714fb0 --- /dev/null +++ b/Table_Definitions/aluno_ens_superior.json @@ -0,0 +1,22 @@ +{ + "pairing_description": "Tabela do censo do INEP - Ensino Superior", + "data_source": "Dados abertos INEP - Microdados do Ensino Superior", + "pk": ["ano_censo", "cod_aluno_curso"], + "foreign_keys": [ + { + "keys": ["ano_censo","cod_ies"], + "reference_columns": ["ano_censo","cod_ies"], + "reference_table": "ies_ens_superior" + }, + { + "keys": ["ano_censo","cod_curso"], + "reference_columns": ["ano_censo","cod_curso"], + "reference_table": "curso_ens_superior" + }, + { + "keys": ["cod_municipio_nascimento"], + "reference_columns": ["id"], + "reference_table": "municipio" + } + ] +} diff --git a/Table_Definitions/curso_ens_superior.json b/Table_Definitions/curso_ens_superior.json new file mode 100644 index 0000000..4212bbc --- /dev/null +++ b/Table_Definitions/curso_ens_superior.json @@ -0,0 +1,12 @@ +{ + "pairing_description": "Tabela do censo do INEP - Ensino Superior", + "data_source": "Dados abertos INEP - Microdados do Ensino Superior", + "pk": ["ano_censo", "cod_curso"], + "foreign_keys": [ + { + "keys": ["ano_censo","cod_ies"], + "reference_columns": ["ano_censo","cod_ies"], + "reference_table": "ies_ens_superior" + } + ] +} diff --git a/Table_Definitions/docente_ens_superior.json b/Table_Definitions/docente_ens_superior.json new file mode 100644 index 0000000..f1ef5ab --- /dev/null +++ b/Table_Definitions/docente_ens_superior.json @@ -0,0 +1,17 @@ +{ + "pairing_description": "Tabela do censo do INEP - Ensino Superior", + "data_source": "Dados abertos INEP - Microdados do Ensino Superior", + "pk": ["ano_censo", "cod_docente_ies"], + "foreign_keys": [ + { + "keys": ["ano_censo","cod_ies"], + "reference_columns": ["ano_censo","cod_ies"], + "reference_table": "ies_ens_superior" + }, + { + "keys": ["cod_uf_nascimento"], + "reference_columns": ["id"], + "reference_table": "estado" + } + ] +} diff --git a/Table_Definitions/equipes_saude.json b/Table_Definitions/equipes_saude.json new file mode 100644 index 0000000..0cb74eb --- /dev/null +++ b/Table_Definitions/equipes_saude.json @@ -0,0 +1,6 @@ +{ + "pairing_description": "Tabela das equipes de saúde", + "data_source": "CNES - Cadastro Nacional de Estabelecimentos de Saúde", + "pk": [], + "foreign_keys": [] +} diff --git a/Table_Definitions/familias_cadunico.json b/Table_Definitions/familias_cadunico.json new file mode 100644 index 0000000..739d224 --- /dev/null +++ b/Table_Definitions/familias_cadunico.json @@ -0,0 +1,13 @@ +{ + "pairing_description": "Tabela do censo das Famílias - CadÚnico", + "data_source": "Dados abertos - Ministério do Desenvolvimento Social - Cadastro Único", + "pk": ["ano_censo", "id_familia"], + "foreign_keys": [ + { + "keys": ["codigo_ibge"], + "reference_columns": ["id"], + "reference_table": "municipio" + + } + ] +} diff --git a/Table_Definitions/fies.json b/Table_Definitions/fies.json new file mode 100644 index 0000000..eed4f8c --- /dev/null +++ b/Table_Definitions/fies.json @@ -0,0 +1,6 @@ +{ + "pairing_description": "Tabela do censo do FIES", + "data_source": "FNDE Dados abertos FIES", + "pk": [], + "foreign_keys": [] +} diff --git a/Table_Definitions/ies_ens_superior.json b/Table_Definitions/ies_ens_superior.json new file mode 100644 index 0000000..bf42bbc --- /dev/null +++ b/Table_Definitions/ies_ens_superior.json @@ -0,0 +1,12 @@ +{ + "pairing_description": "Tabela do censo do INEP - Ensino Superior", + "data_source": "Dados abertos INEP - Microdados do Ensino Superior", + "pk": ["ano_censo", "cod_ies"], + "foreign_keys": [ + { + "keys": ["cod_uf_ies"], + "reference_columns": ["id"], + "reference_table": "estado" + } + ] +} diff --git a/Table_Definitions/localoferta_ens_superior.json b/Table_Definitions/localoferta_ens_superior.json new file mode 100644 index 0000000..7b3e555 --- /dev/null +++ b/Table_Definitions/localoferta_ens_superior.json @@ -0,0 +1,27 @@ +{ + "pairing_description": "Tabela do censo do INEP - Ensino Superior", + "data_source": "Dados abertos INEP - Microdados do Ensino Superior", + "pk": ["ano_censo", "cod_local_oferta", "cod_curso"], + "foreign_keys": [ + { + "keys": ["ano_censo","cod_curso"], + "reference_columns": ["ano_censo","cod_curso"], + "reference_table": "curso_ens_superior" + }, + { + "keys": ["ano_censo","cod_ies"], + "reference_columns": ["ano_censo","cod_ies"], + "reference_table": "ies_ens_superior" + }, + { + "keys": ["cod_municipio"], + "reference_columns": ["id"], + "reference_table": "municipio" + }, + { + "keys": ["cod_uf"], + "reference_columns": ["id"], + "reference_table": "estado" + } + ] +} diff --git a/Table_Definitions/ocde_ens_superior.json b/Table_Definitions/ocde_ens_superior.json new file mode 100644 index 0000000..c190cf3 --- /dev/null +++ b/Table_Definitions/ocde_ens_superior.json @@ -0,0 +1,6 @@ +{ + "pairing_description": "Tabela do censo do INEP - Ensino Superior", + "data_source": "Dados abertos INEP - Microdados do Ensino Superior", + "pk": [], + "foreign_keys": [] +} diff --git a/Table_Definitions/pessoas_cadunico.json b/Table_Definitions/pessoas_cadunico.json new file mode 100644 index 0000000..e60aeb0 --- /dev/null +++ b/Table_Definitions/pessoas_cadunico.json @@ -0,0 +1,17 @@ +{ + "pairing_description": "Tabela do censo das Pessoas - CadÚnico", + "data_source": "Dados abertos - Ministério do Desenvolvimento Social - Cadastro Único", + "pk": [], + "foreign_keys": [ + { + "keys": ["ano_censo", "id_familia"], + "reference_columns": ["ano_censo", "id_familia"], + "reference_table": "familias_cadunico" + }, + { + "keys": ["codigo_ibge"], + "reference_columns": ["id"], + "reference_table": "municipio" + } + ] +} diff --git a/Table_Definitions/pnad.json b/Table_Definitions/pnad.json new file mode 100644 index 0000000..659b18c --- /dev/null +++ b/Table_Definitions/pnad.json @@ -0,0 +1,12 @@ +{ + "pairing_description": "Tabela do censo IBGE (PNAD)", + "data_source": "PNAD (arquivo Pessoas)/IBGE", + "pk": [], + "foreign_keys": [ + { + "keys": ["estado_id"], + "reference_columns": ["id"], + "reference_table": "estado" + } + ] +} diff --git a/Table_Definitions/prouni.json b/Table_Definitions/prouni.json new file mode 100644 index 0000000..61b5dfa --- /dev/null +++ b/Table_Definitions/prouni.json @@ -0,0 +1,6 @@ +{ + "pairing_description": "Tabela do censo do PROUNI", + "data_source": "Dados abertos PROUNI", + "pk": [], + "foreign_keys": [] +} -- GitLab