From aad20565056b8987c9978f294309b30945fe1098 Mon Sep 17 00:00:00 2001
From: =?UTF-8?q?Jo=C3=A3o=20Victor=20Frans=20Pondaco=20Winandy?=
 <jvfpw18@inf.ufpr.br>
Date: Wed, 12 Jun 2019 10:10:36 -0300
Subject: [PATCH] Revert "Move protocols of smppir to main folder"

This reverts commit e663fc63bd8b39b2b2dd4b8f0bed5af52c04d937.
---
 Code/Config/configCADUNICO.config             |  21 +++
 Code/Config/configFIES.config                 |  24 ++++
 Code/Config/configINEP.config                 |  47 +++++++
 Code/Config/configINEP_Experiment.config      |  35 +++++
 Code/updateFileEncoding.rb                    | 123 ++++++++++++++++++
 .../aluno_ens_superior.csv                    |   0
 .../curso_ens_superior.csv                    |   0
 .../docente_ens_superior.csv                  |   0
 .../equipes_saude.csv                         |   0
 .../familias_cadunico.csv                     |   0
 fies.csv => Protocols/fies.csv                |   0
 .../ies_ens_superior.csv                      |   0
 .../localoferta_ens_superior.csv              |   0
 .../ocde_ens_superior.csv                     |   0
 .../pessoas_cadunico.csv                      |   0
 pnad_smppir.csv => Protocols/pnad.csv         |   0
 prouni.csv => Protocols/prouni.csv            |   0
 Table_Definitions/aluno_ens_superior.json     |  22 ++++
 Table_Definitions/curso_ens_superior.json     |  12 ++
 Table_Definitions/docente_ens_superior.json   |  17 +++
 Table_Definitions/equipes_saude.json          |   6 +
 Table_Definitions/familias_cadunico.json      |  13 ++
 Table_Definitions/fies.json                   |   6 +
 Table_Definitions/ies_ens_superior.json       |  12 ++
 .../localoferta_ens_superior.json             |  27 ++++
 Table_Definitions/ocde_ens_superior.json      |   6 +
 Table_Definitions/pessoas_cadunico.json       |  17 +++
 Table_Definitions/pnad.json                   |  12 ++
 Table_Definitions/prouni.json                 |   6 +
 29 files changed, 406 insertions(+)
 create mode 100644 Code/Config/configCADUNICO.config
 create mode 100644 Code/Config/configFIES.config
 create mode 100644 Code/Config/configINEP.config
 create mode 100644 Code/Config/configINEP_Experiment.config
 create mode 100644 Code/updateFileEncoding.rb
 rename aluno_ens_superior.csv => Protocols/aluno_ens_superior.csv (100%)
 rename curso_ens_superior.csv => Protocols/curso_ens_superior.csv (100%)
 rename docente_ens_superior.csv => Protocols/docente_ens_superior.csv (100%)
 rename equipes_saude.csv => Protocols/equipes_saude.csv (100%)
 rename familias_cadunico.csv => Protocols/familias_cadunico.csv (100%)
 rename fies.csv => Protocols/fies.csv (100%)
 rename ies_ens_superior.csv => Protocols/ies_ens_superior.csv (100%)
 rename localoferta_ens_superior.csv => Protocols/localoferta_ens_superior.csv (100%)
 rename ocde_ens_superior.csv => Protocols/ocde_ens_superior.csv (100%)
 rename pessoas_cadunico.csv => Protocols/pessoas_cadunico.csv (100%)
 rename pnad_smppir.csv => Protocols/pnad.csv (100%)
 rename prouni.csv => Protocols/prouni.csv (100%)
 create mode 100644 Table_Definitions/aluno_ens_superior.json
 create mode 100644 Table_Definitions/curso_ens_superior.json
 create mode 100644 Table_Definitions/docente_ens_superior.json
 create mode 100644 Table_Definitions/equipes_saude.json
 create mode 100644 Table_Definitions/familias_cadunico.json
 create mode 100644 Table_Definitions/fies.json
 create mode 100644 Table_Definitions/ies_ens_superior.json
 create mode 100644 Table_Definitions/localoferta_ens_superior.json
 create mode 100644 Table_Definitions/ocde_ens_superior.json
 create mode 100644 Table_Definitions/pessoas_cadunico.json
 create mode 100644 Table_Definitions/pnad.json
 create mode 100644 Table_Definitions/prouni.json

diff --git a/Code/Config/configCADUNICO.config b/Code/Config/configCADUNICO.config
new file mode 100644
index 0000000..7be8b6c
--- /dev/null
+++ b/Code/Config/configCADUNICO.config
@@ -0,0 +1,21 @@
+{
+	"remove":["\""],
+    "change_float_point":true,
+    "change_encoding":true,
+	"encoding_in":"ASCII",
+	"encoding_out":"UTF-8",
+	"files":[
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201212.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201312.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201412.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201512.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201612.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_familia_201712.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201212.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201312.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201412.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201512.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201612.csv",
+                "/home/c3sl/Documentos/Arquivos_Fonte/CadUnico/base_amostra_pessoa_201712.csv"
+            ]
+}
\ No newline at end of file
diff --git a/Code/Config/configFIES.config b/Code/Config/configFIES.config
new file mode 100644
index 0000000..d019681
--- /dev/null
+++ b/Code/Config/configFIES.config
@@ -0,0 +1,24 @@
+{
+    "remove":["\r","\""],
+    "change_float_point":true,
+    "change_encoding":true,
+    "encoding_in":"ISO-8859-14",
+    "encoding_out":"UTF-8",
+    "files":[
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2011.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2012.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2013.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2014.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2015.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2016.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_1_2017.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2010.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2011.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2012.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2013.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2014.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2015.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2016.csv",
+        "/home/c3sl/Documentos/Arquivos_Fonte/FIES/FINANCIAMENTO_CONCEDIDOS_SEMESTRE_2_2017.csv"
+    ]
+}
\ No newline at end of file
diff --git a/Code/Config/configINEP.config b/Code/Config/configINEP.config
new file mode 100644
index 0000000..2ef0cef
--- /dev/null
+++ b/Code/Config/configINEP.config
@@ -0,0 +1,47 @@
+{
+    "remove":["\r"],
+    "change_float_point":false,
+    "change_encoding":true,
+    "encoding_in":"ISO-8859-14",
+    "encoding_out":"UTF-8",
+    "files":[
+
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2010/DADOS/DM_LOCAL_OFERTA.CSV",
+
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2011/DADOS/DM_LOCAL_OFERTA.CSV",
+
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2012/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2013/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2014/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2015/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Arquivos_Fonte/INEP/Dados/2016/DADOS/DM_LOCAL_OFERTA.CSV"
+    ]
+}
diff --git a/Code/Config/configINEP_Experiment.config b/Code/Config/configINEP_Experiment.config
new file mode 100644
index 0000000..dd3b124
--- /dev/null
+++ b/Code/Config/configINEP_Experiment.config
@@ -0,0 +1,35 @@
+{
+    "remove":["\r"],
+    "change_float_point":false,
+    "change_encoding":true,
+    "encoding_in":"ISO-8859-14",
+    "encoding_out":"UTF-8",
+    "files":[
+
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2012/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2013/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2014/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2015/DADOS/DM_LOCAL_OFERTA.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_ALUNO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_CURSO.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_DOCENTE.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_IES.CSV",
+        "/home/c3sl/Documentos/Experiment/database-smppir/Arquivos_Fonte2/INEP/Dados/2016/DADOS/DM_LOCAL_OFERTA.CSV"
+    ]
+}
diff --git a/Code/updateFileEncoding.rb b/Code/updateFileEncoding.rb
new file mode 100644
index 0000000..7d0a080
--- /dev/null
+++ b/Code/updateFileEncoding.rb
@@ -0,0 +1,123 @@
+require 'colorize' # gem install colorize
+require 'json'
+
+# The class Toolbox contains all tools needed to treat files before
+# use it with SIMCAQ's tools
+class Toolbox
+  @@checkmark = " \u2713"
+  @@dot = "\u26AB "
+  def get_file_size(file)
+    get_size = "ls -lh #{file}"
+    `#{get_size}`.split(' ')[4]
+  end
+
+  def convert_encoding(file_in, file_out, encoding_in = 'ISO-8859-14',
+                       encoding_out = 'UTF-8')
+    cmd = "iconv -f #{encoding_in} #{file_in} -t #{encoding_out} -o #{file_out}"
+    print @@dot + 'Convertendo o Encoding do arquivo'.blue.bold
+    system(cmd)
+    puts @@checkmark.encode('utf-8').green.bold
+  end
+
+  def remove_character(file_in, file_out, character = '\r')
+    char_name =
+      if character == "\r"
+        'CRLF'
+      else
+        (character == "\"") || (character == "\'") ? 'Aspas' : character
+      end
+    cmd = "tr -d '#{character}' < #{file_in} > #{file_out}"
+    print @@dot + "Removendo o #{char_name}".blue.bold
+    system(cmd)
+    puts @@checkmark.encode('utf-8').green.bold
+  end
+
+  def change_float_separator(file)
+    cmd = "sed -i -e 's/,/\./g'  #{file}"
+    print @@dot + 'Substituindo vírgula por ponto'.blue.bold
+    system(cmd)
+    puts @@checkmark.encode('utf-8').green.bold
+  end
+
+  def clean_directory(files)
+    cmd = "rm #{files}"
+    print @@dot + 'Limpando o diretório'.blue.bold
+    system(cmd)
+    puts @@checkmark.encode('utf-8').green.bold
+  end
+
+  def rename_file(file_in, file_out)
+    cmd = "mv #{file_in} #{file_out}"
+    print @@dot + 'Renomeando arquivo '.blue.bold +
+         file_in.split('/').last.to_s.yellow.bold+ ' para '.bold.blue +
+         file_out.split('/').last.to_s.bold.green
+    system(cmd)
+    puts @@checkmark.encode('utf-8').green.bold
+  end
+end
+
+# The class main is used to initialize the software.
+class Main
+  def initialize
+    @tools = Toolbox.new
+    @number_of_arguments = ARGV.length
+    @arguments = JSON.parse(File.read(ARGV[0]))
+    @remove = @arguments['remove']
+    @change_float_point = @arguments['change_float_point']
+    @change_encoding = @arguments['change_encoding']
+    @files = @arguments['files']
+    if @change_encoding
+      @encoding_in = @arguments['encoding_in']
+      @encoding_out = @arguments['encoding_out']
+    else
+      @encoding_in = nil
+      @encoding_out = nil
+    end
+  end
+
+  def update_file
+    @files.each_with_index do |f, i|
+      print "\n--- Trabalhando ".light_cyan.bold +
+            "no arquivo #{f.split('/').last} ".light_cyan.bold +
+            "(#{@tools.get_file_size(f)})".light_magenta.bold +
+            " (Arquivo #{i+1} de #{@files.length}) ---\n\n".bold
+      cleanup_files = [f]
+      if @change_encoding
+        @tools.convert_encoding(f, "#{f.split('.')[0]}-encoded.csv",
+                                @encoding_in, @encoding_out)
+        f = "#{f.split('.')[0]}-encoded.csv"
+        cleanup_files << f
+      end
+      unless @remove.empty?
+        @remove.each_with_index do |r, i|
+          @tools.remove_character(f, "#{f.split('.')[0]}-removed#{i + 1}.csv",
+                                  r)
+          f = "#{f.split('.')[0]}-removed#{i + 1}.csv"
+          cleanup_files << f
+        end
+      end
+      @tools.change_float_separator(f) if @change_float_point
+      last_name = cleanup_files.pop
+      remove_files = ''
+      cleanup_files.each do |cf|
+        remove_files = cf + ' '
+      end
+      @tools.clean_directory(remove_files)
+      @tools.rename_file(last_name, cleanup_files[0])
+    end
+  end
+
+  def main
+    case @number_of_arguments
+    when 0
+      puts 'todo: mensagem de ajuda'
+    when 1
+      update_file
+    else
+      puts 'TODO:CASE ELSE'
+    end
+  end
+end
+
+Main.new.main
+puts ''
\ No newline at end of file
diff --git a/aluno_ens_superior.csv b/Protocols/aluno_ens_superior.csv
similarity index 100%
rename from aluno_ens_superior.csv
rename to Protocols/aluno_ens_superior.csv
diff --git a/curso_ens_superior.csv b/Protocols/curso_ens_superior.csv
similarity index 100%
rename from curso_ens_superior.csv
rename to Protocols/curso_ens_superior.csv
diff --git a/docente_ens_superior.csv b/Protocols/docente_ens_superior.csv
similarity index 100%
rename from docente_ens_superior.csv
rename to Protocols/docente_ens_superior.csv
diff --git a/equipes_saude.csv b/Protocols/equipes_saude.csv
similarity index 100%
rename from equipes_saude.csv
rename to Protocols/equipes_saude.csv
diff --git a/familias_cadunico.csv b/Protocols/familias_cadunico.csv
similarity index 100%
rename from familias_cadunico.csv
rename to Protocols/familias_cadunico.csv
diff --git a/fies.csv b/Protocols/fies.csv
similarity index 100%
rename from fies.csv
rename to Protocols/fies.csv
diff --git a/ies_ens_superior.csv b/Protocols/ies_ens_superior.csv
similarity index 100%
rename from ies_ens_superior.csv
rename to Protocols/ies_ens_superior.csv
diff --git a/localoferta_ens_superior.csv b/Protocols/localoferta_ens_superior.csv
similarity index 100%
rename from localoferta_ens_superior.csv
rename to Protocols/localoferta_ens_superior.csv
diff --git a/ocde_ens_superior.csv b/Protocols/ocde_ens_superior.csv
similarity index 100%
rename from ocde_ens_superior.csv
rename to Protocols/ocde_ens_superior.csv
diff --git a/pessoas_cadunico.csv b/Protocols/pessoas_cadunico.csv
similarity index 100%
rename from pessoas_cadunico.csv
rename to Protocols/pessoas_cadunico.csv
diff --git a/pnad_smppir.csv b/Protocols/pnad.csv
similarity index 100%
rename from pnad_smppir.csv
rename to Protocols/pnad.csv
diff --git a/prouni.csv b/Protocols/prouni.csv
similarity index 100%
rename from prouni.csv
rename to Protocols/prouni.csv
diff --git a/Table_Definitions/aluno_ens_superior.json b/Table_Definitions/aluno_ens_superior.json
new file mode 100644
index 0000000..f714fb0
--- /dev/null
+++ b/Table_Definitions/aluno_ens_superior.json
@@ -0,0 +1,22 @@
+{
+    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
+    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
+    "pk": ["ano_censo", "cod_aluno_curso"],
+    "foreign_keys": [
+        {
+            "keys": ["ano_censo","cod_ies"],
+            "reference_columns": ["ano_censo","cod_ies"],
+            "reference_table": "ies_ens_superior"
+        },
+        {
+            "keys": ["ano_censo","cod_curso"],
+            "reference_columns": ["ano_censo","cod_curso"],
+            "reference_table": "curso_ens_superior"
+        },
+        {
+            "keys": ["cod_municipio_nascimento"],
+            "reference_columns": ["id"],
+            "reference_table": "municipio"
+        }
+    ]
+}
diff --git a/Table_Definitions/curso_ens_superior.json b/Table_Definitions/curso_ens_superior.json
new file mode 100644
index 0000000..4212bbc
--- /dev/null
+++ b/Table_Definitions/curso_ens_superior.json
@@ -0,0 +1,12 @@
+{
+    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
+    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
+    "pk": ["ano_censo", "cod_curso"],
+    "foreign_keys": [
+        {
+            "keys": ["ano_censo","cod_ies"],
+            "reference_columns": ["ano_censo","cod_ies"],
+            "reference_table": "ies_ens_superior"
+        }
+    ]
+}
diff --git a/Table_Definitions/docente_ens_superior.json b/Table_Definitions/docente_ens_superior.json
new file mode 100644
index 0000000..f1ef5ab
--- /dev/null
+++ b/Table_Definitions/docente_ens_superior.json
@@ -0,0 +1,17 @@
+{
+    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
+    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
+    "pk": ["ano_censo", "cod_docente_ies"],
+    "foreign_keys": [
+        {
+            "keys": ["ano_censo","cod_ies"],
+            "reference_columns": ["ano_censo","cod_ies"],
+            "reference_table": "ies_ens_superior"
+        },
+        {
+            "keys": ["cod_uf_nascimento"],
+            "reference_columns": ["id"],
+            "reference_table": "estado"
+        }
+    ]
+}
diff --git a/Table_Definitions/equipes_saude.json b/Table_Definitions/equipes_saude.json
new file mode 100644
index 0000000..0cb74eb
--- /dev/null
+++ b/Table_Definitions/equipes_saude.json
@@ -0,0 +1,6 @@
+{
+    "pairing_description": "Tabela das equipes de saúde",
+    "data_source": "CNES - Cadastro Nacional de Estabelecimentos de Saúde",
+    "pk": [],
+    "foreign_keys": []
+}
diff --git a/Table_Definitions/familias_cadunico.json b/Table_Definitions/familias_cadunico.json
new file mode 100644
index 0000000..739d224
--- /dev/null
+++ b/Table_Definitions/familias_cadunico.json
@@ -0,0 +1,13 @@
+{
+    "pairing_description": "Tabela do censo das Famílias - CadÚnico",
+    "data_source": "Dados abertos - Ministério do Desenvolvimento Social - Cadastro Único",
+    "pk": ["ano_censo", "id_familia"],
+    "foreign_keys": [
+        {
+            "keys": ["codigo_ibge"],
+            "reference_columns": ["id"],
+            "reference_table": "municipio"
+
+        }
+    ]
+}
diff --git a/Table_Definitions/fies.json b/Table_Definitions/fies.json
new file mode 100644
index 0000000..eed4f8c
--- /dev/null
+++ b/Table_Definitions/fies.json
@@ -0,0 +1,6 @@
+{
+    "pairing_description": "Tabela do censo do FIES",
+    "data_source": "FNDE Dados abertos FIES",
+    "pk": [],
+    "foreign_keys": []
+}
diff --git a/Table_Definitions/ies_ens_superior.json b/Table_Definitions/ies_ens_superior.json
new file mode 100644
index 0000000..bf42bbc
--- /dev/null
+++ b/Table_Definitions/ies_ens_superior.json
@@ -0,0 +1,12 @@
+{
+    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
+    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
+    "pk": ["ano_censo", "cod_ies"],
+    "foreign_keys": [
+        {
+            "keys": ["cod_uf_ies"],
+            "reference_columns": ["id"],
+            "reference_table": "estado"
+        }
+    ]
+}
diff --git a/Table_Definitions/localoferta_ens_superior.json b/Table_Definitions/localoferta_ens_superior.json
new file mode 100644
index 0000000..7b3e555
--- /dev/null
+++ b/Table_Definitions/localoferta_ens_superior.json
@@ -0,0 +1,27 @@
+{
+    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
+    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
+    "pk": ["ano_censo", "cod_local_oferta", "cod_curso"],
+    "foreign_keys": [
+        {
+            "keys": ["ano_censo","cod_curso"],
+            "reference_columns": ["ano_censo","cod_curso"],
+            "reference_table": "curso_ens_superior"
+        },
+        {
+            "keys": ["ano_censo","cod_ies"],
+            "reference_columns": ["ano_censo","cod_ies"],
+            "reference_table": "ies_ens_superior"
+        },
+        {
+            "keys": ["cod_municipio"],
+            "reference_columns": ["id"],
+            "reference_table": "municipio"  
+        },
+        {
+            "keys": ["cod_uf"],
+            "reference_columns": ["id"],
+            "reference_table": "estado"
+        }
+    ]
+}
diff --git a/Table_Definitions/ocde_ens_superior.json b/Table_Definitions/ocde_ens_superior.json
new file mode 100644
index 0000000..c190cf3
--- /dev/null
+++ b/Table_Definitions/ocde_ens_superior.json
@@ -0,0 +1,6 @@
+{
+    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
+    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
+    "pk": [],
+    "foreign_keys": []
+}
diff --git a/Table_Definitions/pessoas_cadunico.json b/Table_Definitions/pessoas_cadunico.json
new file mode 100644
index 0000000..e60aeb0
--- /dev/null
+++ b/Table_Definitions/pessoas_cadunico.json
@@ -0,0 +1,17 @@
+{
+    "pairing_description": "Tabela do censo das Pessoas - CadÚnico",
+    "data_source": "Dados abertos - Ministério do Desenvolvimento Social - Cadastro Único",
+    "pk": [],
+    "foreign_keys": [
+        {
+            "keys": ["ano_censo", "id_familia"],
+            "reference_columns": ["ano_censo", "id_familia"],
+            "reference_table": "familias_cadunico"  
+        },
+        {
+            "keys": ["codigo_ibge"],
+            "reference_columns": ["id"],
+            "reference_table": "municipio"  
+        }
+    ]
+}
diff --git a/Table_Definitions/pnad.json b/Table_Definitions/pnad.json
new file mode 100644
index 0000000..659b18c
--- /dev/null
+++ b/Table_Definitions/pnad.json
@@ -0,0 +1,12 @@
+{
+    "pairing_description": "Tabela do censo IBGE (PNAD)",
+    "data_source": "PNAD (arquivo Pessoas)/IBGE",
+    "pk": [],
+    "foreign_keys": [
+        {
+            "keys": ["estado_id"],
+            "reference_columns": ["id"],
+            "reference_table": "estado"
+        }
+    ]
+}
diff --git a/Table_Definitions/prouni.json b/Table_Definitions/prouni.json
new file mode 100644
index 0000000..61b5dfa
--- /dev/null
+++ b/Table_Definitions/prouni.json
@@ -0,0 +1,6 @@
+{
+    "pairing_description": "Tabela do censo do PROUNI",
+    "data_source": "Dados abertos PROUNI",
+    "pk": [],
+    "foreign_keys": []
+}
-- 
GitLab