Merge branch 'add_submodules' into 'development'

Add submodules

See merge request !6

.gitmodules

+[submodule "table-definitions"]
+	path = table-definitions
+	url = git@gitlab.c3sl.ufpr.br:tools/table-definitions.git
+[submodule "mapping-protocols-hotmapper"]
+	path = mapping-protocols
+	url = git@gitlab.c3sl.ufpr.br:tools/mapping-protocols-hotmapper.git
+[submodule "sql-scripts"]
+	path = sql-scripts
+	url = git@gitlab.c3sl.ufpr.br:tools/sql-scripts.git

mapping-protocols @ 0014f239

+Subproject commit 0014f2394e674fa5c6e461bbc2b98e8f78c3b923

mapping_protocols/localoferta_ens_superior.csv

-Var.Lab,Rot.Padrão,Novo Rótulo,Coluna temporária,Nome Banco,Tipo de Dado,2010,2011,2012,2013,2014,2015,2016
-SMPPIR-LOCAL-OFERTA1,CO_IES,Código único de identificação da IES,0,cod_ies,INTEGER,CO_IES,CO_IES,CO_IES,CO_IES,CO_IES,CO_IES,CO_IES
-SMPPIR-LOCAL-OFERTA2,CO_MUNICIPIO_LOCAL_OFERTA,Código do município do local de oferta,0,cod_municipio,INTEGER,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA,CO_MUNICIPIO_LOCAL_OFERTA
-SMPPIR-LOCAL-OFERTA3,NO_MUNICIPIO_LOCAL_OFERTA,Nome do município do local de oferta,0,nome_municipio,VARCHAR(255),NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA,NO_MUNICIPIO_LOCAL_OFERTA
-SMPPIR-LOCAL-OFERTA4,CO_UF_LOCAL_OFERTA,Código da Unidade da Federação do local de oferta,0,cod_uf,INTEGER,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA,CO_UF_LOCAL_OFERTA
-SMPPIR-LOCAL-OFERTA5,SGL_UF_LOCAL_OFERTA,Sigla da unidade da federação do local de oferta,0,sigla_uf,VARCHAR(2),SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA,SGL_UF_LOCAL_OFERTA
-SMPPIR-LOCAL-OFERTA6,IN_SEDE,Informa se o agrupador é o principal da IES,0,sede,INTEGER,IN_SEDE,IN_SEDE,IN_SEDE,IN_SEDE,IN_SEDE,IN_SEDE,IN_SEDE
-SMPPIR-LOCAL-OFERTA7,CO_CURSO_POLO,Código de identificação do polo vinculado ao curso,0,cod_curso_polo,INTEGER,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO,CO_CURSO_POLO
-SMPPIR-LOCAL-OFERTA8,CO_CURSO,Código único de identificação do curso,0,cod_curso,INTEGER,CO_CURSO,CO_CURSO,CO_CURSO,CO_CURSO,CO_CURSO,CO_CURSO,CO_CURSO
-SMPPIR-LOCAL-OFERTA9,IN_LOCAL_OFERTA_NEAD,Informa se o tipo de local de oferta é Núcleo de Educação a Distância (NEAD),0,nucleo_educacao_a_distancia,INTEGER,,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD,IN_LOCAL_OFERTA_NEAD
-SMPPIR-LOCAL-OFERTA10,IN_LOCAL_OFERTA_UAB,Informa se o tipo de local de oferta é Polo Universidade Aberta do Brasil (UAB),0,universidade_aberta_do_brasil,INTEGER,,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB,IN_LOCAL_OFERTA_UAB
-SMPPIR-LOCAL-OFERTA11,IN_LOCAL_OFERTA_REITORIA,Informa se o tipo de local de oferta é Unidade Administrativa/Reitoria,0,reitoria,INTEGER,,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA,IN_LOCAL_OFERTA_REITORIA
-SMPPIR-LOCAL-OFERTA12,IN_LOCAL_OFERTA_POLO,Informa se o tipo de local de oferta é Polo de apoio presencial,0,polo_de_apoio_presencial,INTEGER,,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO,IN_LOCAL_OFERTA_POLO
-SMPPIR-LOCAL-OFERTA13,IN_LOCAL_OFERTA_UNID_ACADEMICA,Informa se o tipo de local de oferta é Unidade Acadêmica,0,unidade_academica,INTEGER,,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA,IN_LOCAL_OFERTA_UNID_ACADEMICA
-SMPPIR-LOCAL-OFERTA15,NO_LOCAL_OFERTA,Nome do  local de oferta definido pela instituição,0,nome,VARCHAR(255),,,,NO_LOCAL_OFERTA,NO_LOCAL_OFERTA,NO_LOCAL_OFERTA,NO_LOCAL_OFERTA
-SMPPIR-LOCAL-OFERTA16,DT_INICIO_FUNCIONAMENTO,Data de início de funcionamento do local de oferta dos cursos EaD,0,data_incio_funcionamento,VARCHAR(255),,,,DT_INICIO_FUNCIONAMENTO,DT_INICIO_FUNCIONAMENTO,DT_INICIO_FUNCIONAMENTO,DT_INICIO_FUNCIONAMENTO
-SMPPIR-LOCAL-OFERTA17,CO_LOCAL_OFERTA,Código de identificação do local de oferta,0,cod_local_oferta,INTEGER,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA_IES,CO_LOCAL_OFERTA,CO_LOCAL_OFERTA
-ANO,ANO_CENSO,Ano de pesquisa,0,ano_censo,SMALLINT,ANO_CENSO,ANO_CENSO,ANO_CENSO,ANO_CENSO,ANO_CENSO,ANO_CENSO,ANO_CENSO

mapping_protocols/test_database.csv

-Var.Lab,Rot.Padrão,Novo Rótulo,Coluna temporária,Nome Banco,Tipo de Dado,2018
-OBJID,objectid,ID,0,id,INT,objectid
-ANO,ano,Ano,0,ano_censo,INT,ano
-NOMEOG,mpprogomaç,Nome,0,nome,VARCHAR(64),nooriginal
-ESPCD,esp_cd,Código da massa,0,massa_id,INT,esp_cd
-TIPOMASS,detipomass,Tipo,0,tipo,VARCHAR(16),detipomass
-TIPOADM,dedominial,Tipo Administrativo,0,adm,VARCHAR(16),dedominial
-CODADM,,Código Administrativo,0,adm_id,INT,"~CASE WHEN (""dedominial"" = 'Federal') THEN 1 WHEN (""dedominial"" = 'Estadual') THEN 2 END"
-CODTIPO,,Código do tipo,0,tipo_id,INT,~CASE WHEN (tipo = 'Natural') THEN 1 WHEN (tipo = 'Artificial') THEN 0 END

settings.py

@@ -43,13 +43,13 @@ BACKUP_FOLDER = '/home/banco/dumps/monetdb/'
 BACKUP_FILE = 'backupdadoseducacionais'
 
 # Folder where mapping protocols can be found - relative to root
-MAPPING_PROTOCOLS_FOLDER = 'mapping_protocols'
+MAPPING_PROTOCOLS_FOLDER = 'mapping-protocols'
 
 # Folder for table definitions files
-TABLE_DEFINITIONS_FOLDER = 'table_definitions'
+TABLE_DEFINITIONS_FOLDER = 'table-definitions'
 
 # Folder for scripts and sql tables
-SCRIPTS_FOLDER = 'sql'
+SCRIPTS_FOLDER = 'sql-scripts'
 
 # Source table definitions
 SOURCE_TABLE_NAME = 'fonte'

sql-scripts @ 87666dc7

+Subproject commit 87666dc7f49b358daf0fc81c751ee36e46bc81f0

sql/regiao.sql

-/*
-Copyright (C) 2016 Centro de Computacao Cientifica e Software Livre
-Departamento de Informatica - Universidade Federal do Parana - C3SL/UFPR
-
-This file is part of HOTMapper.
-
-HOTMapper is free software: you can redistribute it and/or modify
-it under the terms of the GNU General Public License as published by
-the Free Software Foundation, either version 3 of the License, or
-(at your option) any later version.
-
-HOTMapper is distributed in the hope that it will be useful,
-but WITHOUT ANY WARRANTY; without even the implied warranty of
-MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-GNU General Public License for more details.
-
-You should have received a copy of the GNU General Public License
-along with HOTMapper.  If not, see <https://www.gnu.org/licenses/>.
-*/
-
-CREATE TABLE regiao
-(
-    id serial,
-    nome text not null
-);
-
-COPY 5 RECORDS INTO regiao FROM stdin USING DELIMITERS ',','\n';
-1,Norte
-2,Nordeste
-3,Sudeste
-4,Sul
-5,Centro-Oeste

table-definitions @ cdea443e

+Subproject commit cdea443e34bf09df2223aebe3090c6920442a38a

table_definitions/localoferta_ens_superior.json

-{
-    "pairing_description": "Tabela do censo do INEP - Ensino Superior",
-    "data_source": "Dados abertos INEP - Microdados do Ensino Superior",
-    "pk": ["ano_censo", "cod_local_oferta", "cod_curso"],
-    "foreign_keys": [ ]
-}
-

table_definitions/matricula.json

-{
-    "pairing_description": "Tabela de matrículas",
-    "data_source": "Microdados do Censo Escolar/INEP (arquivo Matrículas)",
-    "pk": ["ano_censo", "id"],
-    "foreign_keys": [
-
-    ]
-}

table_definitions/test_database.json

-{
-    "pairing_description": "Tabela utilizada para testes",
-    "data_source": "Massa d' Água Região Hidrográfica Parana - ANA - dados.gov.br",
-    "pk": ["id"],
-    "foreign_keys": [
-        {
-            "keys": ["id"],
-            "reference_columns": ["id"],
-            "reference_table": "test_reference"
-        }
-    ]
-}