All Projects → DadosAbertosDeFeira → Maria Quiteria

DadosAbertosDeFeira / Maria Quiteria

Licence: mit
Backend para coleta e disponibilização dos dados 📜

Programming Languages

python
139335 projects - #7 most used programming language

Projects that are alternatives of or similar to Maria Quiteria

Openciviwiki
Building a Better Democracy for the Internet Age
Stars: ✭ 275 (+139.13%)
Mutual labels:  django, django-rest-framework, civic-tech
Tutorialdb
A search 🔎 engine for programming/dev tutorials, See it in action 👉
Stars: ✭ 93 (-19.13%)
Mutual labels:  hacktoberfest, django, django-rest-framework
Django Rest Framework Gis
Geographic add-ons for Django REST Framework. Maintained by the OpenWISP Project.
Stars: ✭ 830 (+621.74%)
Mutual labels:  hacktoberfest, django, django-rest-framework
Django Rest Passwordreset
An extension of django rest framework, providing a configurable password reset strategy
Stars: ✭ 238 (+106.96%)
Mutual labels:  hacktoberfest, django, django-rest-framework
Drf Nested Routers
Nested Routers for Django Rest Framework
Stars: ✭ 1,098 (+854.78%)
Mutual labels:  hacktoberfest, django, django-rest-framework
Django Rest Framework Api Key
An extra layer of authentication for Web APIs made with Django REST Framework
Stars: ✭ 92 (-20%)
Mutual labels:  django, django-rest-framework
Django rest Vuejs Auth
An Authentication project using JWT Tokens, Vuejs(frontend) and Django-Rest(backend).
Stars: ✭ 92 (-20%)
Mutual labels:  django, django-rest-framework
Dynaconf
Configuration Management for Python ⚙
Stars: ✭ 2,082 (+1710.43%)
Mutual labels:  hacktoberfest, django
Bag Of Holding
An application to assist in the organization and prioritization of software security activities.
Stars: ✭ 114 (-0.87%)
Mutual labels:  django, django-rest-framework
Distributed Multi User Scrapy System With A Web Ui
Django based application that allows creating, deploying and running Scrapy spiders in a distributed manner
Stars: ✭ 88 (-23.48%)
Mutual labels:  scrapy, django
Work At Olist
Apply for a job at Olist's Development Team: https://bit.ly/olist-webdev
Stars: ✭ 93 (-19.13%)
Mutual labels:  django, django-rest-framework
Django Auth0 Vue
A Django REST Framework + Vue.js CRUD Demo Secured Using Auth0
Stars: ✭ 99 (-13.91%)
Mutual labels:  django, django-rest-framework
Evennia
Python MUD/MUX/MUSH/MU* development system
Stars: ✭ 1,309 (+1038.26%)
Mutual labels:  hacktoberfest, django
Django Infinite Scroll Pagination
🌀 Pagination based on the seek method / keyset paging / offset-less pagination
Stars: ✭ 90 (-21.74%)
Mutual labels:  hacktoberfest, django
Grand Challenge.org
A platform for end-to-end development of machine learning solutions in biomedical imaging
Stars: ✭ 89 (-22.61%)
Mutual labels:  django, django-rest-framework
Iotdashboard
Fast Django server for IOT Devices
Stars: ✭ 95 (-17.39%)
Mutual labels:  django, django-rest-framework
Wq.db
☁🌐 wq's db library, extending Django REST framework to support apps for geospatial field data collection, citizen science, and crowdsourcing.
Stars: ✭ 101 (-12.17%)
Mutual labels:  django, django-rest-framework
Awx
AWX Project
Stars: ✭ 10,469 (+9003.48%)
Mutual labels:  django, django-rest-framework
Django Wiki
A wiki system with complex functionality for simple integration and a superb interface. Store your knowledge with style: Use django models.
Stars: ✭ 1,485 (+1191.3%)
Mutual labels:  hacktoberfest, django
Crudl Example Django
CRUDL with Django, DRF/Graphene and SQLite
Stars: ✭ 113 (-1.74%)
Mutual labels:  django, django-rest-framework

Maria Quitéria

CI

Tem a missão de libertar dados do município de Feira de Santana. Responsável pela raspagem e o armazenamento.

Não sabe quem foi Maria Quitéria?

Dados

Base de dados Fonte Descrição Coleta Banco de dados Download
Agenda (citycouncil.py) Câmara Municipal Agenda (ordem do dia, homenagens, sessões ordinárias etc) da Câmara Municipal. ✔️ ✔️ Kaggle
Atas das sessões (citycouncil.py) Câmara Municipal Atas das sessões da Câmara Municipal. ✔️ ✔️ 🔜
Lista de Presença (citycouncil.py) Câmara Municipal Assiduidade dos vereadores da Câmara Municipal. ✔️ ✔️ Kaggle
Despesas (citycouncil.py) Câmara Municipal Gastos realizados pela Câmara Municipal. 🔜 ✔️ 🔜
Contratos (cityhall.py) Prefeitura Contratos realizados pela prefeitura entre 2016 e 2017. 🔜 🔜 🔜
Diário Oficial (gazette.py) Prefeitura/Câmara de Vereadores Diário oficial do executivo e legislativo. ✔️ ✔️ Kaggle
Licitações (cityhall.py) Prefeitura Licitações realizadas pela prefeitura desde 2015. ✔️ ✔️ Kaggle
Pagamentos (cityhall.py) Prefeitura Pagamentos realizados pela prefeitura desde 2010. 🔜 🔜 🔜

Contribuindo para o projeto

Contribuições são muito bem-vindas. Veja como contribuir no nosso Guia de Contribuição.

Toda a comunicação e demais interações do Dados Abertos de Feira estão sujeitas ao nosso Código de Conduta.

Configurando seu ambiente

Você precisará do Docker e do Docker-Compose para rodar o projeto.

Carregue as variáveis de ambiente

Um exemplo das configurações pode ser encontrado no arquivo .env.example, que deve ser copiado para um arquivo .env na raiz do projeto.

Caso queira utilizar um banco de dados diferente basta configurar a variável de ambiente DATABASE_URL em seu .env.

Instale as dependências e prepare os serviços

make build

O passo anterior vai criar um banco de dados postgres. Agora, basta aplicar as migrations:

make migrate

Executando os testes

make tests

Acessando o site

Rode o servidor com:

make run

Com as configurações padrão o painel de controle estará acessível pela URL: localhost:8000. Veja as bases de dados disponíveis no nosso painel público localhost:8000/painel.

Para navegar no admin, primeiro crie um super administrador:

make createsuperuser

Coletando os dados

Boa parte dos dados que temos vem da raspagem de dados feita por spiders. O comando abaixo vai executar todos os spiders e salvar os itens raspados no banco de dados:

make crawl

Durante a coleta e adição ao banco, vamos também tentar extrair o conteúdo dos arquivos encontrados.

Rodando os spiders individualmente

No diretório scraper você poderá encontrar os spiders responsáveis pela coleta dos dados. Para entender melhor como eles funcionam, dê uma olhada na documentação do scrapy.

Para rodar um spider, execute:

SPIDER=citycouncil_agenda make runspider
# ou
SPIDER=citycouncil_agenda START_DATE=03/01/2020 make runspider

Para salvar os dados de um spider em um arquivo:

docker-compose run --rm web scrapy crawl citycouncil_agenda -o citycouncil_agenda.json

Você pode substituir json por outros formatos como csv.

Caso queira passar alguma configuração extra para o Scrapy através do comando crawl você pode adicionar após o parâmetro --scrapy-args:

docker-compose run --rm web python manage.py crawl --scrapy-args '{"LOG_FILE": "test.log"}'

API

Sobre acesso a API veja instruções em nossa Wiki.

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].