Links e Comandos do Tutorial "Capturando Dados Sem Dor de Cabeça"
Material
- Slides palestra "Gênero e Número: Python ajudando a entender as questões de gênero brasileiras"
- Gênero e Número
- Vídeo da palestra "rows: Liberando Dados Com Um Comando"
- Vídeo da palestra "Dados Tabulares: Qual o Pior Formato?"
- Documentação rows
- Canal Pythonic Café no YouTube
Fontes de dados
Bibliotecas e Ferramentas
- pyenv
- Biblioteca JSONBender
- Biblioteca rows
- Biblioteca splinter
- Biblioteca tapioca-wrapper
- rows: exemplos como biblioteca
- rows: exemplos da command-line interface
- rows: exemplo
rows querycom SQL join - webscrapper
- Chrome Developer Tools
Código
- Repositório de código GN classificação de logradouros por gênero
- Repositório de código GN extração dados históricos olimpíadas
- Repositório de código GN análise de dados da educação superior
Comandos
Criar virtualenv:
python3 -m venv tutorial-pysulAtivar virtualenv:
source tutorial-pysul/bin/activateInstalar dependências:
pip install -r requirements.txtRodar script de forma interativa:
ipython -i nomes.pyBaixar e extrair tabela em HTML e exibir no terminal como texto:
URL=https://www.sports-reference.com/olympics/countries/BRA/summer/2012/
rows print $URLBaixar, extrair e converter uma tabela em HTML para CSV:
URL=https://www.sports-reference.com/olympics/countries/BRA/summer/2012/
rows convert $URL olimpiadas.csvBaixar e extrair uma tabela em HTML, rodar uma consulta SQL nos dados e exibir o resultado no terminal como texto:
QUERY='SELECT athlete, gender, gold FROM table1 WHERE gold > 0'
URL=https://www.sports-reference.com/olympics/countries/BRA/summer/2012/
rows query $QUERY $URLBaixar e extrair uma tabela em HTML, rodar uma consulta SQL nos dados e extrair o resultado para um arquivo XLS:
QUERY='SELECT athlete, gender, gold FROM table1 WHERE gold > 0'
URL=https://www.sports-reference.com/olympics/countries/BRA/summer/2012/
rows query "$SQL" $URL --output=gold.xls