All Projects → basedosdados → Mais

basedosdados / Mais

Universalizando o acesso a dados no Brasil. Docs: https://basedosdados.github.io/mais/

Labels

Projects that are alternatives of or similar to Mais

Bigrquery
An interface to Google's BigQuery from R.
Stars: ✭ 430 (+252.46%)
Mutual labels:  bigquery
Ddlparse
DDL parase and Convert to BigQuery JSON schema and DDL statements
Stars: ✭ 52 (-57.38%)
Mutual labels:  bigquery
Embulk Output Bigquery
Embulk output plugin to load/insert data into Google BigQuery
Stars: ✭ 99 (-18.85%)
Mutual labels:  bigquery
Dataflowtemplates
Google-provided Cloud Dataflow template pipelines for solving simple in-Cloud data tasks
Stars: ✭ 603 (+394.26%)
Mutual labels:  bigquery
Ethereum Etl
Python scripts for ETL (extract, transform and load) jobs for Ethereum blocks, transactions, ERC20 / ERC721 tokens, transfers, receipts, logs, contracts, internal transactions. Data is available in Google BigQuery https://goo.gl/oY5BCQ
Stars: ✭ 956 (+683.61%)
Mutual labels:  bigquery
Sql Runner
Run templatable playbooks of SQL scripts in series and parallel on Redshift, PostgreSQL, BigQuery and Snowflake
Stars: ✭ 68 (-44.26%)
Mutual labels:  bigquery
Franchise
🍟 a notebook sql client. what you get when have a lot of sequels.
Stars: ✭ 3,823 (+3033.61%)
Mutual labels:  bigquery
Beast
Load data from Kafka to any data warehouse
Stars: ✭ 119 (-2.46%)
Mutual labels:  bigquery
Datashare Toolkit
DIY commercial datasets on Google Cloud Platform
Stars: ✭ 41 (-66.39%)
Mutual labels:  bigquery
Magnolify
A collection of Magnolia add-on modules
Stars: ✭ 81 (-33.61%)
Mutual labels:  bigquery
Dataflow Tutorial
Cloud Dataflow Tutorial for Beginners
Stars: ✭ 17 (-86.07%)
Mutual labels:  bigquery
Pg2bq
Export PostgreSQL tables to Google BigQuery
Stars: ✭ 30 (-75.41%)
Mutual labels:  bigquery
Linq To Bigquery
LINQ to BigQuery is C# LINQ Provider for Google BigQuery. It also enables Desktop GUI Client with LINQPad and plug-in driver.
Stars: ✭ 69 (-43.44%)
Mutual labels:  bigquery
Graphql Engine
Blazing fast, instant realtime GraphQL APIs on your DB with fine grained access control, also trigger webhooks on database events.
Stars: ✭ 24,845 (+20264.75%)
Mutual labels:  bigquery
Gcp Variant Transforms
GCP Variant Transforms
Stars: ✭ 100 (-18.03%)
Mutual labels:  bigquery
Bigquery Python
Simple Python client for interacting with Google BigQuery.
Stars: ✭ 397 (+225.41%)
Mutual labels:  bigquery
Spark Bigquery
Google BigQuery support for Spark, Structured Streaming, SQL, and DataFrames with easy Databricks integration.
Stars: ✭ 65 (-46.72%)
Mutual labels:  bigquery
Professional Services
Common solutions and tools developed by Google Cloud's Professional Services team
Stars: ✭ 1,923 (+1476.23%)
Mutual labels:  bigquery
Cube.js
📊 Cube — Open-Source Analytics API for Building Data Apps
Stars: ✭ 11,983 (+9722.13%)
Mutual labels:  bigquery
Ethereum Etl Airflow
Airflow DAGs for exporting, loading, and parsing the Ethereum blockchain data. What datasets do you want to be added to Ethereum ETL? Vote here: https://blockchain-etl.convas.io.
Stars: ✭ 89 (-27.05%)
Mutual labels:  bigquery

All Contributors

Base dos Dados Mais

Mecanismo de busca e repositório de bases de dados brasileiras e internacionais.

Watch Start Tweet PyPi Discord Apoiase


Base dos Dados Mais

Uma simples consulta de SQL é o suficiente para cruzamento de bases que você desejar. Sem precisar procurar, baixar, tratar, comprar um servidor e subir clusters.

Nosso repositório traz acesso, rapidez, escala, facilidade, economia, curadoria, e transparência ao cenário de dados no Brasil.

Start

Usando em Python

Instale

pip install basedosdados

Crie seu projeto no BigQuery

É necessário criar um projeto para que você possa fazer as queries no nosso repositório. Ter um projeto é de graça e basta ter uma conta Google (seu gmail por exemplo).

Caso não tenha ainda um projeto, veja aqui como criar um projeto no Google Cloud.

Acesse uma tabela

import basedosdados as bd

df = bd.read_table('br_ibge_pib', 'municipios', billing_project_id="<YOUR-PROJECT>")

Caso esteja acessando da primeira vez, vão aparecer alguns passos para você autenticar seu projeto. Basta seguir os passos na tela!

Faça uma consulta

import basedosdados as bd

# Bens dos candidatos de Tocantins em 2020
query = """
SELECT *
FROM `basedosdados.br_tse_eleicoes.bens_candidato` 
WHERE ano = 2020
AND sigla_uf = 'TO'
"""

df = bd.read_sql(query, billing_project_id="<YOUR-PROJECT>")

Caso esteja acessando da primeira vez, vão aparecer alguns passos para você autenticar seu projeto. Basta seguir os passos na tela!

Veja todos os datasets disponíveis

import basedosdados as bd

bd.list_datasets()

Para saber mais, veja os exemplos ou a documentação da API

Usando em R

Instale

install.packages("bigrquery")

Faça uma consulta

library("bigrquery")

billing_project_id = "<YOUR_PROJECT_ID>"

pib_per_capita = "SELECT 
    pib.id_municipio ,
    pop.ano, 
    pib.PIB / pop.populacao * 1000 as pib_per_capita
FROM `basedosdados.br_ibge_pib.municipios` as pib
INNER JOIN `basedosdados.br_ibge_populacao.municipios` as pop
ON pib.id_municipio = pop.id_municipio AND pib.ano = pop.ano"

d <- bq_table_download(bq_project_query(billing_project_id, pib_per_capita), page_size=500, bigint="integer64")

Tutoriais

Veja exemplos de uso na pasta /examples e acesse também nossos tutoriais no Youtube

💭 Tem alguma ideia ou um exemplo seu para colaborar? Abra um issue e fale com a gente!

Contribua! 🔄

Incentivamos que outras instituições e pessoas contribuam. Veja mais como contribuir aqui.

Apoie 💚

A Base dos Dados já poupou horas da sua vida? Ou permitiu coisas antes impossíveis? Nosso trabalho é quase todo voluntário, mas temos vários custos de infraestrutura, equipe, e outros.

Nos ajude a fazer esse projeto se manter e crescer!

Como citar o projeto 📝

O projeto está licenciado sob a Licença Hipocrática. Sempre que usar os dados cite a fonte como:

Português:

Carabetta, João; Dahis, Ricardo; Israel, Fred; Scovino, Fernanda (2020) Base dos Dados: Repositório de Dados Abertos em https://basedosdados.org.

Inglês:

Carabetta, João; Dahis, Ricardo; Israel, Fred; Scovino, Fernanda (2020) Data Basis: Open Data Repository at https://basedosdados.org.

Idiomas

Documentação está em português (quando possível), código e configurações estão em inglês.

Desenvolvimento

CLI

Suba o CLI localmente

make create-env
. .mais/bin/activate
python setup.py develop

Versionamento

Publique nova versão

poetry version [patch|minor|major]
poetry publish --build

Docs

Atualize os docs adicionando ou editando .md em docs/.

Se for adicionar um arquivo novo, adicione ele em mkdocs.yml sob a chave nav.

Para testar a documentação, rode:

mkdocs serve 

Contributors ✨

Thanks goes to these wonderful people (emoji key):


Ricardo Dahis

🤔 📝 👀 📆 🐛 🚧 💬

Fernanda Scovino

🤔 📖 👀

João Carabetta

🤔 💻 👀 📆 🐛 🚧 💬

polvoazul

🤔 💻 👀 🚇

Diego Oliveira

🤔 💻 📓 👀 🐛

This project follows the all-contributors specification. Contributions of any kind welcome!

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].