All Projects → fabinhojorge → INMET-API-temperature

fabinhojorge / INMET-API-temperature

Licence: other
Crawler dos dados metereológicos de estações convencionais do INMET (BDMEP)

Programming Languages

python
139335 projects - #7 most used programming language

Projects that are alternatives of or similar to INMET-API-temperature

lezhin-comics-downloader
📥 Downloader for lezhin comics
Stars: ✭ 30 (-6.25%)
Mutual labels:  scraper
Website-downloader
💡 Download the complete source code of any website (including all assets). [ Javascripts, Stylesheets, Images ] using Node.js
Stars: ✭ 615 (+1821.88%)
Mutual labels:  scraper
ColegaDondeEstaMiTFM
Un bot de Twitter que comparte cada hora un TFM hasta que Cristina Cifuentes enseñe el suyo.
Stars: ✭ 14 (-56.25%)
Mutual labels:  scraper
file-extensions
JSON collection of scraped file extensions, along with their description and type, from FileInfo.com
Stars: ✭ 15 (-53.12%)
Mutual labels:  scraper
tinyPornManager
Made for pornhub. Fork from tinyMediaManager v3
Stars: ✭ 57 (+78.13%)
Mutual labels:  scraper
tripadvisor-scraper
Scrape Tripadvisor restaurant, hotels, and places.
Stars: ✭ 40 (+25%)
Mutual labels:  scraper
proxy-scraper
⭐️ A proxy scraper made using Protractor | Proxy list Updates every three hour 🔥
Stars: ✭ 201 (+528.13%)
Mutual labels:  scraper
cat-message
Finds cat images/videos/gifs on reddit, sends them to my mom via applescript
Stars: ✭ 35 (+9.38%)
Mutual labels:  scraper
Facebook-Profile-Pictures-Downloader
😆 Download public profile pictures from Facebook.
Stars: ✭ 23 (-28.12%)
Mutual labels:  scraper
scrapy-LBC
Araignée LeBonCoin avec Scrapy et ElasticSearch
Stars: ✭ 14 (-56.25%)
Mutual labels:  scraper
lopez
Crawling and scraping the Web for fun and profit
Stars: ✭ 20 (-37.5%)
Mutual labels:  scraper
nyt-first-said
Tweets when words are published for the first time in the NYT
Stars: ✭ 222 (+593.75%)
Mutual labels:  scraper
crawler-chrome-extensions
爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer
Stars: ✭ 53 (+65.63%)
Mutual labels:  scraper
Pahe.ph-Scraper
Pahe.ph [Pahe.in] Movies Website Scraper
Stars: ✭ 57 (+78.13%)
Mutual labels:  scraper
stweet
Advanced python library to scrap Twitter (tweets, users) from unofficial API
Stars: ✭ 287 (+796.88%)
Mutual labels:  scraper
jd-autobuy
Python爬虫,京东自动登录,在线抢购商品
Stars: ✭ 1,262 (+3843.75%)
Mutual labels:  scraper
web-crawler
Python Web Crawler with Selenium and PhantomJS
Stars: ✭ 19 (-40.62%)
Mutual labels:  scraper
scrapers
scrapers for building your own image databases
Stars: ✭ 46 (+43.75%)
Mutual labels:  scraper
barclayscrape
A small app to programmatically mainpulate Barclays online banking
Stars: ✭ 57 (+78.13%)
Mutual labels:  scraper
gochanges
**[ARCHIVED]** website changes tracker 🔍
Stars: ✭ 12 (-62.5%)
Mutual labels:  scraper

INMET-API-temperatura

API para extrair os dados históricos de temperatura da Base do INMET

Descrição

Os dados são da base BDMEP - Banco de Dados Meteorológicos para Ensino e Pesquisa. São dados históricos, a partir de 1961 extraidos de estações convencionais (link).

Os dados do BDMEP são dados históricos e não em tempo real, ou seja, as vezes só estão disponíveis dados anteriores a 1~3 meses.

Um pré requisito para acessar a base é ter cadastro no BDMEP. Veja a sessão de links abaixo.

Links

  • Pagina Inicial do INMET
  • Pagina dos dados BDMEP
  • Caso ainda não possua cadastro para consulta da base BDMEP, acesse AQUI
  • Para fazer o login e ver os dados no site acesse AQUI
  • Tabela de código de ventos AQUI
  • Lista de estações AQUI

Como executar o projeto?

Requerimentos

  • Python 3
  • Selenium
  • Selenium web driver (chromedriver.exe ou outro se sua escolha)
  • Beautiful Soup4

Instalação

  • Instale Git e faça o download deste projeto (para Windows)

  • Instale Python 3

  • Na linha de comando, crie um VirtualEnv para seu codigo python: > python -m venv venv

  • Inicie seu virtualEnv com: > venv\Scripts\activate

    • Se precisar desativar é só > venv\Scripts\deactivate
  • Após criar o VirtualEnv e inicia-lo, vamos agora instalar as dependencias deste projeto. Para isso use:

    > pip install -r requirements.txt

  • Pronto, tudo certinho para executar o projeto :)

Executando o projeto

  • A base do BDMEP possui varios tipo de consultas. Para facilitar o uso, foram criados alguns Templates:
    • HOUR | Consulta de apenas alguns parametros e 3x ao dia
    • DAY | Consulta de apenas alguns parametros e 2x ao dia
    • DAYFULL | Consulta de todos os parametros e 3x ao dia
    • MONTH | Consulta de todos os parametros e 1x ao mes

*Recomendo utilizar ou o Template DAYFULL, pois é o que aparenta estar mais completo.

  • Para executar use o comando abaixo:

> python extract_data.py DAYFULL

  • O arquivo será gerado em data/output_data.csv

*Por enquanto não foi adicionado nem a opção de data nem a opção de nome do arquivo. Para alterar a data de extraão edite a linha 94 do extract_data.py

Sobre o BDMEP

Detalhes importantes

Um detalhe importante é que a base do BDMEP são dados de estações "Convencionais". Existem dois tipos de estações:

  • Convêncional: É composta de vários sensores isolados que registram continuamente os parâmetros meteorológicos (pressão, temperatura, etc..), que são lidos e anotados por um observador (humano ou sistema) a cada intervalo de tempo (link).
  • Automática: É composta de uma unidade de memória central ("data logger"), ligada a vários sensores meteorológicos, e que integra os valores observados minuto a minuto e os disponibiliza automaticamente a cada hora (link).

Então, para neste projeto estamos usando os dados Convêncionais.

As observações ocorrem todos os dias as 0900, 1500 e 2100 (UTC-3).

A formula usada para o cálculo da Temperatura média compensada (TC) é:

TC = ( T12 + 2*T0 + T_(min) + T_(max) ) / 5

Documentos Importantes

Parâmetros

  • Dados Horários (link)

    • Dados de 3x ao dia
  • Dados Diários (link)

    • Dados de 3x ao dia contendo a media diaria e mais algumas medidas calculadas
  • Dados Mensais (link)

    • Dados de 1x ao mes, com a media mensal
  • Atributos:

    • mRelEstacao
    • btnProcesso
    • mRelDtInicio
    • mRelDtFim
    • mAtributos=,,,,,,,,,,,,,,,, -> Conjunto de atributos separados por virgula. Se tiver o atributo então recebe o valor 1, se não fica vazio (ex: mAtributos=1,1,1,,,,,,,,,,1,1,,,). Lista de atributos:
      • 1º Direção do Vento Predominante (tabela)
      • 2º Velocidade do Vento Média (mps)
      • 3º Velocidade do Vento Máxima Média (mps)
      • 4º Evaporação do Piche (mm)
      • 5º Evapotranspiração Potencial BH (mm)
      • 6º Evapotranspiração Real BH (mm)
      • 7º Insolação Total (hs)
      • 8º Nebulosidade Média (décimos)
      • 9º Número de Dias com Precipitação (qtd)
      • 10º Precipitação Total (mm)
      • 11º Pressão Atm nível Mar Média (mbar)
      • 12º Pressão Atm Média (mbar)
      • 13º Temp Máxima Média(ºC)
      • 14º Temp Compensada Média(ºC)
      • 15º Temp Mínima Média(ºC)
      • 16º Umidade Relativa Média (%)
      • 17º Visibilidade Média (%)(tabela)
  • Informações sobre os parametros:

TO DO

  • Tratamento para login com usuario errado.
  • Exportar para arquivo
  • Adicionar input para data

Saiba mais

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].