Construindo Banco de Dados Financeiros
Como construir um banco de dados financeiros com um processo 100% automático desenvolvido na linguagem R?
Link para o Curso
Construir um banco de dados financeiros com um processo 100% automático desenvolvido na linguagem R.
Esta é a proposta desse curso!
Quem faz análises com dados financeiros sofre com informações espalhadas em diversos lugares, em formatos distintos e atualizadas em momentos diferentes.
A construção de um repositório único, onde as informações são padronizadas e podem ser acessadas de maneira simples em um banco de dados único.
O curso Construindo Banco de Dados Financeiros tem uma abordagem 100% mão na massa para a construção de um banco de dados a partir da coleta automatizada de diversos dados do mercado financeiro.
Os dados são referentes a diversos contratos negociados no mercado e indicadores financeiros necessários para tarefas apreçamento e cálculo de risco.
Todo o conteúdo do curso é totalmente desenvolvido com a linguagem de programação e análise de dados R. Passa por diversos pacotes para processamento de dados, leitura de arquivos: texto, json, csv, xml, operações em banco de dados relacional e consumo de APIs on-line.
O objetivo é construir um sistema DO ZERO para automatizar o processo de download de dados financeiros de diversas fontes do mercado financeiro (B3, ANBIMA, BACEN, TesouroDireto), criando um repositório de dados para o processamento e o enriquecimento dos dados para que sejam usados em diversas análises.
Serão desenvolvidos os processos de download e armazenamento dos dados brutos e, posteriormente, o processo de enriquecimento que transforma os dados brutos em dados estruturados.
No fim, serão criadas funções no R para consumir os dados estruturados e utilizá-los nas mais diversas análises.
Duração: 07:52:25
Módulo 1: Processo de Downloads e Tratamento de Dados
Desenvolvemos um processo totalmente em R onde o usuário pode, através de arquivos de configuração YAML, definir os dados que serão baixados e incluídos no banco de dados.
O fato do código ser 100% R permite que, com o passar das aulas, o aluno compreenda cada passo do processo e seja capaz de realizar suas eventuais intervenções.
Duração: 00:57:50
| # | Aula | Duração |
|---|---|---|
| 1 | Apresentando o Projeto | 05:09 |
| 2 | Estrutura de diretórios do Projeto | 02:06 |
| 3 | Arquivos YAML | 03:18 |
| 4 | Pacote yaml | 03:03 |
| 5 | Pacote logger | 04:17 |
| 6 | Configuração do Projeto | 06:12 |
| 7 | Criação do MeuDB | 06:53 |
| 8 | Entendendo a função load_configs | 03:40 |
| 9 | Executando o Pipeline de dados | 04:55 |
| 10 | Entendendo a função download_data | 06:04 |
| 11 | Funções de download específicas | 03:24 |
| 12 | Webscraping do CDI da B3 | 07:34 |
| 13 | Encerramento do Módulo 1 | 01:10 |
Download e processamento da Taxa DI (CDI) e do Índice DI (IDI) da B3
A Taxa DI é uma das taxa de juros mais importantes utilizadas no Brasil. É a taxa de juros utilizada em diversos contratos negociados no mercado financeiro, como CDBs, Debêntures, LCI, LCA e outros.
Módulo 2: Banco para Armazenamento dos Dados (Mini Tutorial de SQL)
Vamos criar um banco de dados SQLite do zero para o armazenamento dos dados baixados.
Mini tutorial de SQL e operações CRUD (Create Read Update Delete)
Duração: 01:13:03
| # | Aula | Duração |
|---|---|---|
| 1 | Introdução a Banco de Dados | 04:13 |
| 2 | Criando e inserindo tabelas | 07:58 |
| 3 | Atualizando tabelas | 02:16 |
| 4 | Consultas em tabelas | 05:50 |
| 5 | Removendo dados de tabelas | 03:02 |
| 6 | Criação de índices em tabelas | 06:00 |
| 7 | Pacote DBI 1 | 05:58 |
| 8 | Pacote DBI 2 | 04:31 |
| 9 | Pacote DBI 3 | 02:06 |
| 10 | Pacote DBI 4 | 04:21 |
| 11 | Pacote dbplyr | 05:29 |
| 12 | Criando tabelas no banco de dados MeuDB | 03:16 |
| 13 | Executando o Pipeline de dados inserindo dados no MeuDB | 04:19 |
| 14 | Entendendo a função handle_data | 06:06 |
| 15 | Entendendo os handlers de parse e insert no Pipeline de dados | 07:32 |
Módulo 3: Indicadores Financeiros do Banco Central
Download e processamento de Indicadores Financeiros do Banco Central: IPCA, IGP-M, SELIC e Moedas
Processamento para geração do Número Índice dos indicadores financeiros: SELIC, IPCA, IGP-M
Duração: 01:06:29
| # | Aula | Duração |
|---|---|---|
| 1 | Download dos dados da SELIC com o pacote rbcb | 08:39 |
| 2 | Implementando download da SELIC no Pipeline de dados | 05:32 |
| 3 | Executando o Pipeline de dados com download da SELIC | 06:52 |
| 4 | Implementando parse e insert da SELIC no Pipeline de dados | 07:56 |
| 5 | Implementando download de IPCA e IGP-M no Pipeline de dados | 05:28 |
| 6 | Executando o Pipeline de dados com download de IPCA e IGP-M | 02:25 |
| 7 | Executando funções dinamicamente no R | 03:39 |
| 8 | Download de dados de moedas com o pacote rbcb | 05:09 |
| 9 | Listando moedas disponíveis com o rbcb | 02:38 |
| 10 | Executando o Pipeline de dados com download do USD | 03:49 |
| 11 | Implementando insert do USD no Pipeline de dados | 04:01 |
| 12 | Implementando o EUR no Pipeline de dados | 02:43 |
| 13 | Mudança nos downloaders com rbcb | 02:18 |
| 14 | Executando Pipeline de dados em BATCH | 05:14 |
Módulo 4: Indicadores Financeiros da ANBIMA
Projeções de Inflação (IGP-M e IPCA) da ANBIMA VNA de Títulos Públicos da ANBIMA Preços e Taxas Títulos Públicos da ANBIMA
Duração: 00:59:20
| # | Aula | Duração |
|---|---|---|
| 1 | Webscraping de projeções de inflação da ANBIMA 1 | 04:21 |
| 2 | Webscraping de projeções de inflação da ANBIMA 2 | 11:08 |
| 3 | Criação de tabela para projeções de inflação da ANBIMA no MeuDB | 02:13 |
| 4 | Executando o Pipeline de dados com projeções de inflação da ANBIMA | 03:02 |
| 5 | Webscraping de VNA de títulos públicos da ANBIMA 1 | 04:14 |
| 6 | Webscraping de VNA de títulos públicos da ANBIMA 2 | 02:13 |
| 7 | Webscraping de VNA de títulos públicos da ANBIMA 3 | 04:29 |
| 8 | Webscraping de VNA de títulos públicos da ANBIMA 4 | 02:34 |
| 9 | Webscraping de VNA de títulos públicos da ANBIMA 5 | 05:43 |
| 10 | Criação de tabela para VNA no MeuDB | 01:41 |
| 11 | Executando o Pipeline de dados com VNA de títulos públicos da ANBIMA | 02:31 |
| 12 | Webscraping de Preços e Taxas de títulos públicos da ANBIMA 1 | 05:20 |
| 13 | Webscraping de Preços e Taxas de títulos públicos da ANBIMA 2 | 05:54 |
| 14 | Criação de tabela para Títulos Públicos no MeuDB | 01:40 |
| 15 | Executando o Pipeline de dados com Títulos Públicos da ANBIMA | 02:11 |
Módulo 5: Cadastro de Instrumentos da B3
Download e processamento do arquivo de Cadastro de Instrumentos (dados cadastrais de instrumentos) da B3 para Ações e Futuros
Duração: 00:57:25
| # | Aula | Duração |
|---|---|---|
| 1 | Webscraping da página de Pesquisa do Pregão da B3 | 04:12 |
| 2 | Executando o Pipeline de dados com download do arquivo de Cadastro de Instrumentos da B3 | 01:40 |
| 3 | Unzip do arquivo de Cadastro de Instrumentos da B3 | 04:32 |
| 4 | Verificando integridade do arquivo zip do site de Pesquisa do Pregão da B3 | 02:41 |
| 5 | Pacote XML | 09:18 |
| 6 | Verificando a geração dos arquivos de Cadastro de Instrumentos da B3 | 04:02 |
| 7 | Parsing do arquivo de Cadastro de Instrumentos da B3 - Dados de Equities (Ações) | 10:36 |
| 8 | Parsing do arquivo de Cadastro de Instrumentos da B3 - Dados de Futuros | 04:07 |
| 9 | Criação de tabelas para Equities e Futuros no MeuDB | 01:54 |
| 10 | Executando o Pipeline de dados com dados de Equities e Futuros | 04:27 |
| 11 | Investigando os Dados de Equities | 05:48 |
| 12 | Investigando os Dados de Futuros | 03:07 |
| 13 | Planilha com Códigos de Cadastro de Instrumentos da B3 | 00:55 |
Módulo 6: Boletim de Negociação da B3
Download e processamento do arquivo Boletim de Negociação da B3 (Dados diários) para Ações e Futuros
Duração: 00:28:26
| # | Aula | Duração |
|---|---|---|
| 1 | WebScraping e download do arquivo PricingReport (arquivo de Preços) da B3 | 04:21 |
| 2 | Criação de tabelas para dados de Preços (PricingReport) no MeuDB | 02:42 |
| 3 | Inserindo os dados de Preços no MeuDB | 05:43 |
| 4 | Executando o Pipeline de dados com dados de Preços (PricingReport) | 03:36 |
| 5 | WebScraping e download do arquivo IndexReport (arquivo de Índices) da B3 1 | 03:32 |
| 6 | WebScraping e download do arquivo IndexReport (arquivo de Índices) da B3 2 | 04:51 |
| 7 | Criação de tabelas para dados de Índices (IndexReport) no MeuDB | 01:15 |
| 8 | Executando o Pipeline de dados com dados de Índices (IndexReport) | 02:24 |
Módulo 7: Cálculo do Preço Ajustado de Ações
Ajuste de retornos de Ações devido aos eventos corporativos (desdobramento, grupamento, etc)
Duração: 01:16:55
| # | Aula | Duração |
|---|---|---|
| 1 | Importando histórico de Equities no MeuDB | 05:04 |
| 2 | Importando histórico de Preços no MeuDB | 05:04 |
| 3 | Importando histórico de Futuros no MeuDB | 04:15 |
| 4 | Importando histórico de Índices no MeuDB | 03:00 |
| 5 | Gerando histórico de retorno de ações | 12:06 |
| 6 | Calculando EWMA para retornos da B3SA3 | 06:08 |
| 7 | Calculando EWMA para retornos de todos os ativos | 07:49 |
| 8 | Executando o cálculo do EWMA no Pipeline de dados | 07:14 |
| 9 | Construindo série de preços de ações ajustados 1 | 08:32 |
| 10 | Construindo série de preços de ações ajustados 2 | 04:11 |
| 11 | Executando o cálculo dos preços ajustados no Pipeline de dados | 05:52 |
| 12 | Detectando eventos corporativos nos dados de Equities | 07:35 |
Módulo 8: Curvas de Juros
Processamento para geração da Curva de Juros PrefixadaDownload e processamento das Curvas da ANBIMA
Duração: 00:52:54
| # | Aula | Duração |
|---|---|---|
| 1 | Construção da Curva de Juros Prefixados de Mercado (com dados de Futuros de Taxa DI) | 09:36 |
| 2 | Construção da Curva de Juros Prefixados Padronizada em vértices fixos (para risco de mercado) | 06:46 |
| 3 | Executando a construção de curvas de juros no Pipeline de dados | 04:29 |
| 4 | Webscraping da ANBIMA para Obter Curvas de Juros de Governo 1 | 11:36 |
| 5 | Webscraping da ANBIMA para Obter Curvas de Juros de Governo 2 | 14:52 |
| 6 | Executando o Pipeline de dados com dados das curvas de juros da ANBIMA | 05:34 |
Link para o Curso