Como raspar dados para mais de 1.900 ETFs.
Na empresa de gestão de investimentos em que trabalhei, tivemos equipes de pessoas que dedicaram muito tempo apenas tentando calcular com precisão o retorno total dos ativos. Por quê? Ter dados de retorno precisos é um pré-requisito para a criação de um sistema ou modelo comercial. Você pode treinar seu modelo em vários regimes e ambientes de mercado, o que aumenta a probabilidade de você realmente modelar algo real.
Uma vez que eu não sou apenas um pequeno investidor de varejo que pode pagar um feed de dados real, decidi raspar dados para mais de 1.900 ETFs como um proxy para alguns dados de retorno de alta qualidade em várias classes de ativos. Eu pensei que esta era uma maneira fácil de obter dados de retorno para todas as principais classes de ativos e combinações de países de uma só vez. A desvantagem é que a maioria dos ETFs são bastante novos, então há algum backhistory bastante limitado. A maioria dos ETFs tem apenas alguns anos.
Como obtive uma lista de ETFs com metadados.
Eu verifiquei o que os conjuntos de dados gratuitos existentes estão lá, e acho que o ETF é o melhor recurso. Eu examinei seu site e descobri que eles tinham uma API não publicada, então eu raspei isso. Em R, isso pode ser realizado em algumas linhas de código. Eu também limpei alguns dos campos usando algumas expressões regulares.
Aqui estão os campos que eles oferecem:
Como obtive os dados do preço ETF.
Usei o Yahoo! API da Finanças. Na minha experiência, o Yahoo! Os dados financeiros são de qualidade bastante alta para uma fonte de dados gratuita. Para esses ETFs, fiz algumas verificações básicas para ver o quão completo os dados foram e testes para outliers. O conjunto de dados está bastante limpo. No geral, o código leva cerca de 40 minutos para raspar tudo porque eu adicionei algum tempo de espera entre cada solicitação para evitar a obtenção de taxa limitada:
Aqui estão os campos que eles oferecem:
Espero que isso seja útil para algumas pessoas. Você também pode dar uma olhada no código que eu usei para raspar esses dados no meu depósito Github. A raspagem pode ser feita em 30 linhas de código.
Eu tenho uma lista de e-mail onde ocasionalmente envio atualizações aos leitores sobre os sistemas de negociação que eu estou desenvolvendo. Se você estiver interessado, insira seu email abaixo.
Sobre Kevin.
Estou interessado em construir sistemas de investimento e este blog contém minhas pesquisas e análises sobre esse tema. Eu anteriormente trabalhei como analista da Bridgewater Associates, um hedge fund que utiliza um estilo de investimento macro sistemático e global.
13 comentários sobre o & ldquo; Como raspar dados para mais de 1.900 ETFs & rdquo;
Isso ainda é funcional? Tenho erros quando tento executar a parte do raspador ETF e recebo uma mensagem proibida quando tento visitar etf / etf-finder-funds-api // - aum / 0/2000/1 em um navegador.
A Yahoo Finance API já não está disponível. Eu me mudei para MarketXLS após essa mudança, dados muito mais confiáveis.
A Yahoo Finance API foi quebrada por um tempo, mas agora todos os pacotes que a interface com ele corrigiram e está funcionando de novo.
Kevin, artigo muito útil, muito obrigado.
Alguma idéia de onde obter valores de vida históricos para ETFs?
por exemplo. Para o CEFS, o símbolo do NAV no yahoo finance é ^ CEFS-IV:
Mas na página de preços históricos, eles apenas mostram dados do dia anterior:
Eu já falei essa pergunta antes, e eu acho que é difícil, a menos que você esteja inscrito em algum provedor de dados de nível institucional. Mas o ETF fornece fluxos históricos de fundos semanais, para que você possa baixar os fluxos e usar o NAV atual para atrasar o NAV histórico.
postagem muito agradável! Eu tenho duas perguntas:
1) Você descobriu alguma maneira de raspar a série de preços diretamente do etf?
2) Você usou as feições temporárias de Yahoo, ou você aplicou alguma limpeza? Se sim, qual?
Obrigado. Não criei nenhuma das séries de preços da ETF. Usei o Yahoo! Finanças para raspar a série de preços. Acabei de baixar os dados como está e não aplique qualquer limpeza. Eu usei esses dados para análises subsequentes e achei que os dados são de alta qualidade com poucos erros.
Obrigado por comentar. Ainda bem que você achou útil.
Muito interessante.
Eu tentei dar uma olhada no código também, mas parece que a função getSymbolsYahoo não está definida & # 8230; talvez seja definida na fonte (& # 8220; ./ Posts / 1.001 Funções iniciais e Bibliotecas. R e # 8221;)?
Obrigado pela leitura. Sim, a função getSymbolsYahoo é apenas uma função de invólucro que eu escrevi para a função getSymbols do quantmod e # 8217; tornar um pouco mais limpo para os meus propósitos. Espero que isto seja útil.
Sinais de negociação quantitativos
Obter através da App Store Leia esta publicação em nosso aplicativo!
Como entender melhor os sinais comerciais?
Estou procurando obter uma melhor compreensão de um resultado de uma estratégia comercial. Basicamente eu tenho uma curva de capital diária, vamos chamá-lo $ Y_t $. Eu defini um monte de variáveis independentes $ X_ $ que eu acho que pode explicar o movimento no PnL diário. As variáveis independentes não são usadas na geração de sinal de negociação diretamente.
1) Como posso deduzir quais variáveis independentes explicam meu $ Y_t $, assumindo que o relacionamento poderia ser não linear? Posso começar com PCA, mas do que entendo, assume uma relação linear.
2) Usando uma variável independente reduzida ajustada $ X_ $ de 1) como faço para definir uma relação não-linear com $ Y_t $. Redes Neurais talvez?
Eu entendo que fazer 1) e 2) pode resultar em superposição, mas eu só quero entender a curva de equidade melhor.
Esta é uma questão bastante geral.
Você está essencialmente perguntando como estimar a função de regressão.
sem qualquer estrutura adicional. Aqui está uma lista básica de questões a serem consideradas. Tenha em mente que quanto mais você puder guiar esses procedimentos com conhecimento de domínio, melhores serão os resultados.
Algumas perguntas sugerem que você suspeita que muitos dos seus $ X_i $ são irrelevantes para $ Y $. Você sugere PCA. Acho que PCA é mais útil quando o $ X_i $ está extremamente correlacionado. Se o seu $ X_i $ não estiverem correlacionados, técnicas de seleção como LASSO e regressão por etapas podem fornecer mais informações.
Existem muitos métodos para montagem de formas não lineares por $ m () $. Antes de iniciar nestes, é útil se você pode restringir ainda mais o espaço de funções. Lembre-se, o conjunto de todas as funções não-lineares em $ p $ variáveis pode ser vasto e muitas dessas funções caberão os dados, apesar de serem absurdas. As restrições comuns incluem aditividade e suavidade.
Algumas sugestões para o ajuste de $ m () $ incluem: redes neurais, árvores de regressão, impulsos, florestas aleatórias, regressão de vetor de suporte e splines de regressão adaptativa multivariada. Alguns desses métodos podem selecionar automaticamente variáveis como parte do processo de montagem. Isso evita o problema com o passo (1) que você ressalta, ou seja, que esses métodos são lineares e ignoram relacionamentos não-lineares potencialmente importantes.
Desculpe, a página solicitada não existe.
Esta página não foi encontrada neste servidor.
Isso pode ser devido ao URL sendo alterado, expirado ou mal digitado.
Você pode tentar as seguintes páginas como pontos de partida para consultar as informações do Grupo Nomura:
Se continuar a ter dificuldades, entre em contato com o representante Nomura ou envie-nos comentários.
Homepage - vá para a página inicial do Grupo Nomura.
Comentários - para denunciar um link quebrado, envie uma mensagem através da nossa página de comentários.
Nomura Securities International, Inc., é membro do SIPC.
Sinais de negociação quantitativos
Dado o atual ambiente macroeconômico, onde os investidores devem focar sua busca por fontes de alfa no próximo ano? Ao pedir suficientes economistas ou gerentes de investimentos, você encontrará tantas opiniões diferentes sobre o assunto como seria de se preocupar, sem dúvida, muitas delas conflitantes. Estes são alguns pensamentos sobre o assunto desde a minha perspectiva, como uma análise quantitativa & # 8230;
Protegido: Systematic Strategies Fund & # 8211; Dezembro de 2017.
Não há trechos porque esta é uma postagem protegida.
Negociação Bitcoin.
Nas Estratégias Sistemáticas desenvolvemos uma brilhante e nova estratégia de investimento. Chamamos isso de comprar Bitcoin. Funciona assim: você tira alguns dos seus fatos e ganha dinheiro para comprar o Bitcoin. Então, uma semana ou duas depois, você faz o mesmo tudo de novo. Até agora, a estratégia está em torno de 400% de YTD. & # 8230;
Negociação sistemática de futuros.
Na negociação proprietária, o foco primário das Estratégias Sistemáticas nas estratégias de eqüidade e volatilidade, tanto de baixa quanto alta freqüência. Nos futuros, a ênfase é no comércio de alta freqüência, embora também possamos executar uma ou duas estratégias de freqüência mais baixa que tenham maior capacidade, como o Futures WealthBuilder. A versão do WealthBuilder em execução no Collective & # 8230;
Analisando o conjunto de dados FDIC.
Um processo Winer.
Sem dúvida, muitos de vocês, leitores de olhos afiados, terão detectado um erro de ortografia, pensando que eu queria me referir a um desses: Mas, de fato, eu realmente tinha em mente algo mais como isto: estamos seguindo um exemplo do recentemente publicado pela Mathematica Beyond Mathematics por Jose Sanchez Leon, um texto atualizado que # 8230;
A história de uma estratégia HFT.
Copulas de correlação.
Continuando com uma publicação anterior, em que modelamos o relacionamento nos níveis do Índice VIX e os Índices de Correlação CBOE do Ano 1 e Ano 2, voltamos nossa atenção para modelar mudanças no índice VIX. No caso de você ter perdido, o post pode ser encontrado aqui: Cointegração de correlação Vimos anteriormente que o & # 8230;
Uma estratégia de equidade tática.
Criamos uma estratégia de equidade de longo prazo que visa vencer o benchmark de retorno total da S & P 500 usando algoritmos de alocação tática para investir em ETFs de ações. Um dos principais objetivos da estratégia é proteger os investidores & # 8217; capital durante períodos de grave estresse no mercado, como nas recessões de 2000 e 2008 # 8230 ;.
Cointegração de correlação.
Em uma publicação anterior, procurei formas de modelar a relação entre o Índice CBOE VIX e os Índices de Correlação CBOE do Ano 1 e Ano 2: Modelagem de Volatilidade e Correlação. A questão foi colocada para mim se os índices VIX e correlação podem ser cointegrados. Vamos começar por olhar o padrão de & # 8230;
Lote de sinalização.
Comércio algorítmico, financiamento quantitativo e aprendizado automático.
Categorias.
Bitcoin Todas as postagens.
Usando Bitcoin para Contra o Risco Macroeconômico e Geopolítico.
Em 2008, no meio da crise financeira global, Satoshi Nakamoto publicou um documento branco descrevendo o protocolo bitcoin. O bloco de bitcoin, então, & hellip;
Qual é a correlação da Bitcoin com outros ativos financeiros?
Estou pensando fortemente em entrar em um investimento substancial em bitcoin como parte do meu portfólio passivamente gerenciado, totalmente longo. Antes de fazer isso, eu e hellip;
Aprendizagem de máquinas todas as postagens.
Um modelo simples de aprendizagem de máquinas para comercializar SPY.
Eu criei uma estratégia de negociação quantitativa que incorpora um modelo de aprendizado de máquina simples para comercializar o SPY como parte da minha pesquisa em curso no & hellip;
Como Aplicar Aprendizado de Máquinas para Negociação.
Recentemente, tenho me interessado em aplicar a aprendizagem de máquinas para negociação. Esta publicação contém alguns dos meus pensamentos sobre uma estrutura para pensar sobre o hellip;
Como raspar dados para mais de 1.900 ETFs.
Últimas postagens.
O Guia Definitivo para Momentum Investing and Trading.
Durante a minha revisão de vários livros e papéis de negociação quantitativos, continuei a ver informações sobre duas classes de estratégias de negociação: reversão média e hellip;
Usando Bitcoin para Contra o Risco Macroeconômico e Geopolítico.
Em 2008, no meio da crise financeira global, Satoshi Nakamoto publicou um documento branco descrevendo o protocolo bitcoin. O bloco de bitcoin, então, & hellip;
Qual é a correlação da Bitcoin com outros ativos financeiros?
Estou pensando fortemente em entrar em um investimento substancial em bitcoin como parte do meu portfólio passivamente gerenciado, totalmente longo. Antes de fazer isso, eu e hellip;
Um modelo simples de aprendizagem de máquinas para comercializar SPY.
Eu criei uma estratégia de negociação quantitativa que incorpora um modelo de aprendizado de máquina simples para comercializar o SPY como parte da minha pesquisa em curso no & hellip;
Como Aplicar Aprendizado de Máquinas para Negociação.
Recentemente, tenho me interessado em aplicar a aprendizagem de máquinas para negociação. Esta publicação contém alguns dos meus pensamentos sobre uma estrutura para pensar sobre o hellip;
Como medir o desempenho de uma estratégia de negociação.
Esta publicação contém algumas das pesquisas que fiz sobre como medir o desempenho de uma estratégia de negociação. O objetivo imediato & hellip;
O Guia definitivo para ETFs com alavancagem de curto prazo.
Este post documenta algumas das minhas pesquisas na criação de uma estratégia de negociação centrada em curto prazo de recursos de fundos de câmbio (ETFs) alavancados. Eu apresento o seguinte & hellip;
Estratégia de Paridade de Risco da Engenharia Reversa AQR & # 8217; s.
Eu irei começar esta publicação dizendo que não faz sentido que alguém pague taxas de gerenciamento para obter um fluxo de retorno que & hellip;
Como implementar uma estratégia de paridade de risco simples.
Quando trabalhei na Bridgewater Associates, eu me encontrei regularmente com materiais de marketing sobre a teoria por trás da paridade de risco e evidências de que as carteiras de paridade de risco e hellip;
Execução Frontal do Índice: O que acontece quando um estoque é adicionado a um índice?
Esta publicação documenta algumas das minhas pesquisas sobre a frente do índice. Esta estratégia de negociação é simplesmente comprar ações antes de serem adicionadas aos índices e hellip;
Navegação de posts.
Categorias.
Se inscrever.
Este blog se concentra em investir usando uma abordagem algorítmica, quantitativa e sistemática.
Estratégias de Negociação Todas as postagens.
O Guia Definitivo para Momentum Investing and Trading.
Durante a minha revisão de vários livros e papéis de negociação quantitativos, continuei a ver informações sobre duas classes de estratégias de negociação: reversão média e hellip;
Como medir o desempenho de uma estratégia de negociação.
O Guia definitivo para ETFs com alavancagem de curto prazo.
Execução Frontal do Índice: O que acontece quando um estoque é adicionado a um índice?
Paridade de risco Todas as postagens.
Estratégia de Paridade de Risco da Engenharia Reversa AQR & # 8217; s.
Eu irei começar esta publicação dizendo que não faz sentido que alguém pague taxas de gerenciamento para obter um fluxo de retorno que & hellip;
Como implementar uma estratégia de paridade de risco simples.
Quando trabalhei na Bridgewater Associates, eu me encontrei regularmente com materiais de marketing sobre a teoria por trás da paridade de risco e evidências de que as carteiras de paridade de risco e hellip;
Dado o atual ambiente macroeconômico, onde os investidores devem focar sua busca por fontes de alfa no próximo ano? Ao pedir suficientes economistas ou gerentes de investimentos, você encontrará tantas opiniões diferentes sobre o assunto como seria de se preocupar, sem dúvida, muitas delas conflitantes. Estes são alguns pensamentos sobre o assunto desde a minha perspectiva, como uma análise quantitativa & # 8230;
Protegido: Systematic Strategies Fund & # 8211; Dezembro de 2017.
Não há trechos porque esta é uma postagem protegida.
Negociação Bitcoin.
Nas Estratégias Sistemáticas desenvolvemos uma brilhante e nova estratégia de investimento. Chamamos isso de comprar Bitcoin. Funciona assim: você tira alguns dos seus fatos e ganha dinheiro para comprar o Bitcoin. Então, uma semana ou duas depois, você faz o mesmo tudo de novo. Até agora, a estratégia está em torno de 400% de YTD. & # 8230;
Negociação sistemática de futuros.
Na negociação proprietária, o foco primário das Estratégias Sistemáticas nas estratégias de eqüidade e volatilidade, tanto de baixa quanto alta freqüência. Nos futuros, a ênfase é no comércio de alta freqüência, embora também possamos executar uma ou duas estratégias de freqüência mais baixa que tenham maior capacidade, como o Futures WealthBuilder. A versão do WealthBuilder em execução no Collective & # 8230;
Analisando o conjunto de dados FDIC.
Um processo Winer.
Sem dúvida, muitos de vocês, leitores de olhos afiados, terão detectado um erro de ortografia, pensando que eu queria me referir a um desses: Mas, de fato, eu realmente tinha em mente algo mais como isto: estamos seguindo um exemplo do recentemente publicado pela Mathematica Beyond Mathematics por Jose Sanchez Leon, um texto atualizado que # 8230;
A história de uma estratégia HFT.
Copulas de correlação.
Continuando com uma publicação anterior, em que modelamos o relacionamento nos níveis do Índice VIX e os Índices de Correlação CBOE do Ano 1 e Ano 2, voltamos nossa atenção para modelar mudanças no índice VIX. No caso de você ter perdido, o post pode ser encontrado aqui: Cointegração de correlação Vimos anteriormente que o & # 8230;
Uma estratégia de equidade tática.
Criamos uma estratégia de equidade de longo prazo que visa vencer o benchmark de retorno total da S & P 500 usando algoritmos de alocação tática para investir em ETFs de ações. Um dos principais objetivos da estratégia é proteger os investidores & # 8217; capital durante períodos de grave estresse no mercado, como nas recessões de 2000 e 2008 # 8230 ;.
Cointegração de correlação.
Em uma publicação anterior, procurei formas de modelar a relação entre o Índice CBOE VIX e os Índices de Correlação CBOE do Ano 1 e Ano 2: Modelagem de Volatilidade e Correlação. A questão foi colocada para mim se os índices VIX e correlação podem ser cointegrados. Vamos começar por olhar o padrão de & # 8230;
Lote de sinalização.
Comércio algorítmico, financiamento quantitativo e aprendizado automático.
Categorias.
Bitcoin Todas as postagens.
Usando Bitcoin para Contra o Risco Macroeconômico e Geopolítico.
Em 2008, no meio da crise financeira global, Satoshi Nakamoto publicou um documento branco descrevendo o protocolo bitcoin. O bloco de bitcoin, então, & hellip;
Qual é a correlação da Bitcoin com outros ativos financeiros?
Estou pensando fortemente em entrar em um investimento substancial em bitcoin como parte do meu portfólio passivamente gerenciado, totalmente longo. Antes de fazer isso, eu e hellip;
Aprendizagem de máquinas todas as postagens.
Um modelo simples de aprendizagem de máquinas para comercializar SPY.
Eu criei uma estratégia de negociação quantitativa que incorpora um modelo de aprendizado de máquina simples para comercializar o SPY como parte da minha pesquisa em curso no & hellip;
Como Aplicar Aprendizado de Máquinas para Negociação.
Recentemente, tenho me interessado em aplicar a aprendizagem de máquinas para negociação. Esta publicação contém alguns dos meus pensamentos sobre uma estrutura para pensar sobre o hellip;
Como raspar dados para mais de 1.900 ETFs.
Últimas postagens.
O Guia Definitivo para Momentum Investing and Trading.
Durante a minha revisão de vários livros e papéis de negociação quantitativos, continuei a ver informações sobre duas classes de estratégias de negociação: reversão média e hellip;
Usando Bitcoin para Contra o Risco Macroeconômico e Geopolítico.
Em 2008, no meio da crise financeira global, Satoshi Nakamoto publicou um documento branco descrevendo o protocolo bitcoin. O bloco de bitcoin, então, & hellip;
Qual é a correlação da Bitcoin com outros ativos financeiros?
Estou pensando fortemente em entrar em um investimento substancial em bitcoin como parte do meu portfólio passivamente gerenciado, totalmente longo. Antes de fazer isso, eu e hellip;
Um modelo simples de aprendizagem de máquinas para comercializar SPY.
Eu criei uma estratégia de negociação quantitativa que incorpora um modelo de aprendizado de máquina simples para comercializar o SPY como parte da minha pesquisa em curso no & hellip;
Como Aplicar Aprendizado de Máquinas para Negociação.
Recentemente, tenho me interessado em aplicar a aprendizagem de máquinas para negociação. Esta publicação contém alguns dos meus pensamentos sobre uma estrutura para pensar sobre o hellip;
Como medir o desempenho de uma estratégia de negociação.
Esta publicação contém algumas das pesquisas que fiz sobre como medir o desempenho de uma estratégia de negociação. O objetivo imediato & hellip;
O Guia definitivo para ETFs com alavancagem de curto prazo.
Este post documenta algumas das minhas pesquisas na criação de uma estratégia de negociação centrada em curto prazo de recursos de fundos de câmbio (ETFs) alavancados. Eu apresento o seguinte & hellip;
Estratégia de Paridade de Risco da Engenharia Reversa AQR & # 8217; s.
Eu irei começar esta publicação dizendo que não faz sentido que alguém pague taxas de gerenciamento para obter um fluxo de retorno que & hellip;
Como implementar uma estratégia de paridade de risco simples.
Quando trabalhei na Bridgewater Associates, eu me encontrei regularmente com materiais de marketing sobre a teoria por trás da paridade de risco e evidências de que as carteiras de paridade de risco e hellip;
Execução Frontal do Índice: O que acontece quando um estoque é adicionado a um índice?
Esta publicação documenta algumas das minhas pesquisas sobre a frente do índice. Esta estratégia de negociação é simplesmente comprar ações antes de serem adicionadas aos índices e hellip;
Navegação de posts.
Categorias.
Se inscrever.
Este blog se concentra em investir usando uma abordagem algorítmica, quantitativa e sistemática.
Estratégias de Negociação Todas as postagens.
O Guia Definitivo para Momentum Investing and Trading.
Durante a minha revisão de vários livros e papéis de negociação quantitativos, continuei a ver informações sobre duas classes de estratégias de negociação: reversão média e hellip;
Como medir o desempenho de uma estratégia de negociação.
O Guia definitivo para ETFs com alavancagem de curto prazo.
Execução Frontal do Índice: O que acontece quando um estoque é adicionado a um índice?
Paridade de risco Todas as postagens.
Estratégia de Paridade de Risco da Engenharia Reversa AQR & # 8217; s.
Eu irei começar esta publicação dizendo que não faz sentido que alguém pague taxas de gerenciamento para obter um fluxo de retorno que & hellip;
Como implementar uma estratégia de paridade de risco simples.
Quando trabalhei na Bridgewater Associates, eu me encontrei regularmente com materiais de marketing sobre a teoria por trás da paridade de risco e evidências de que as carteiras de paridade de risco e hellip;
Комментарии
Отправить комментарий