Estou tentando fazer um simulador de mercado de ações (talvez eventualmente crescendo em uma IA de previsão), mas estou tendo problemas para encontrar dados para usar. Estou à procura de uma fonte (esperançosamente gratuita) de dados históricos do mercado de ações. Idealmente, seria um conjunto de dados de muito graus (segundo ou minuto) com preço e volume de cada símbolo no NASDAQ e NYSE (e talvez outros se eu for aventureiro). Alguém sabe de uma fonte para essa informação, encontrei esta questão que indica que o Yahoo oferece dados históricos no formato CSV, mas não consegui descobrir como obtê-lo em um exame superficial do site vinculado. Eu também não gosto da idéia de baixar os dados fragmentadamente em arquivos CSV. Imagino que o Yahoo ficaria chateado e me desligasse após os primeiros mil pedidos. Eu também descobri uma outra pergunta que me fez pensar que id atingiu o jackpot, mas, infelizmente, o site OpenTick parece ter fechado suas portas. Muito ruim, já que eu acho que eles eram exatamente o que eu queria. Eu também posso usar dados que são apenas abrir o preço e o volume de cada símbolo todos os dias, mas eu prefiro todos os dados se eu conseguir. Qualquer outra sugestão pediu 16 de abril 09 às 3:01 fechado como fora do tópico por durron597. Kevin Brown. Bart. Rene. Doorknob Jul 4 15 às 18:35 Esta questão parece estar fora do tópico. Os usuários que votaram em fechar deram esse motivo específico: quotQuestions que nos pedem para recomendar ou encontrar um livro, ferramenta, biblioteca de software, tutorial ou outro recurso fora do local são off-topic para Stack Overflow, pois eles tendem a atrair respostas de opinião e spam. Em vez disso, descreva o problema e o que foi feito até agora para resolvê-lo. Ndash durron597, Kevin Brown, Bart, rene, Doorknob Se esta questão pode ser reformulada para se adequar às regras no centro de ajuda. Edite o question. rmeador, o Yahoo não o desligará, não importa quantos pedidos você faça, mas o Google irá desligá-lo. Já consegui baixar cerca de 4GB de preços históricos do EOD no Yahoo em cerca de 5-6 horas sem ter sido desligado. Isso é cerca de 7.000 ações com todos os seus preços históricos do EOD desde que aderiram ao mercado. Veja a minha resposta para mais informações e amostra do código-fonte. Ndash Lirik 24 de abril 10 às 17:37 Deixe-me adicionar meus 2, é meu trabalho para obter dados bons e limpos para um hedge-fund, eu vi muitos feeds de dados e provedores de dados históricos. Isto é principalmente sobre dados de stock dos EUA. Para começar, se você tiver algum dinheiro não se preocupe com o download de dados do Yahoo, obtenha os dados do fim do dia diretamente dos dados CSI. É aí que o Yahoo obtém seus dados EOD também AFAIK. Eles têm uma API onde você pode extrair os dados para o formato que desejar. Eu acho que a assinatura anual de dados é de cerca de 100 dólares. O principal problema com o download de dados de um serviço gratuito é que você só obtém ações que ainda existem, isso é chamado de Sobrevivência de Bias e pode dar-lhe resultados errados se você olhar para muitas ações, porque você só incluirá aquelas que chegaram até agora e Não são os que foram de-listados. Para brincar com alguns dados intraday, procure o IQFeed. Eles fornecem várias APIs para extrair dados históricos, embora sejam principalmente uma roupa para feeds em tempo real. Mas aqui há algumas opções, alguns corretores oferecem downloads históricos de dados através de suas APIs, então, escolha seu veneno. Mas, geralmente, todos esses dados não são muito limpos, uma vez que você realmente começa de volta, você verá que alguns estoques estão faltando ou aparecem como dois símbolos diferentes, ou as divisões de ações não são devidamente contabilizadas, etc. E então você percebe que os dados de dividendos históricos Também é necessário e então você começa a correr em círculos, corrigindo dados juntos de 100 fontes de dados diferentes e assim por diante. Então, para começar com um feed de dados de desconto vai fazer, mas, assim que você executar backtests mais abrangentes, você pode ter problemas, dependendo do que você faz. Se você apenas olha, digamos, as ações do SampP 500, isso não será tanto um problema, e um feed intradiário barato fará. O que você não encontrará é dados intraday gratuitos. Quero dizer, você pode encontrar alguns exemplos, eu tenho certeza de que há algum lugar 5 anos de dados de marca MSFT flutuando, mas isso não o levará muito longe. Então, se você precisa do material real (livro de pedidos de nível II, todos os carrapatos como aconteceu em todas as trocas), uma opção acessível, porém excelente, é a Nanex. Eles realmente enviarão você uma unidade com terabytes de dados. Se eu me lembro, é de cerca de 3k-4K por ano de dados. Mas confie em mim, uma vez que você entenda o quão difícil é obter bons dados intraday, você não pensará que isso é muito dinheiro. Não para desencorajá-lo, mas para obter bons dados, é difícil, de tal forma que muitos fundos de hedge e bancos gastam centenas de milhares de dólares por mês para obter dados em que possam confiar. Mais uma vez, você pode começar em algum lugar e depois ir de lá, mas é bom vê-lo um pouco no contexto. Editar: A resposta acima é da minha própria experiência. Este artigo de Caltech sobre feeds de dados disponíveis dará mais informações e, especialmente, recomenda o QuantQuote. Eu adicionei as opções restantes das minhas anotações, que costumavam ser encontradas nessa página da web. Apresentar estes aqui não parece estar em falta com os ToS encontrados aqui: policies. yahoousenyahootermsproduct-atosapiforydnzwnj8203hellip Yahoo deve ter ficado chateado com a ferramenta de dados do Excel que também estava disponível nesse site. Ndash eckesicle 2 de setembro 15 às 14:09 Eu sei que você queria grátis, mas eu considero seriamente obter dados da csidata por cerca de 300 anos, se eu fosse você. É o que o yahoo usa para fornecer seus dados. Ele vem com uma API decente, e os dados são (tanto quanto eu posso dizer) muito limpos. Você obtém 10 anos de história quando se inscreve e depois atualiza todas as noites depois. Eles também cuidam de todo tipo de coisas desagradáveis, como divisões e dividendos para você. Se você ainda não descobriu a alegria que é a limpeza de dados, você não saberá o quanto você precisa disso, até a primeira vez que seu ATS (Automated Trading System) pensa que algumas ações são realmente realmente baratas, só porque dividem 2: 1 e você Não percebeu. Respondeu Jun 22 09 às 10:51 quais idiomas são suportados pelo seu API ndash user443854 5 de dezembro 12 às 21:46 eles têm uma API ActiveX que você pode chamar com código c ou C ou o que for no Windows para obter seus dados. Ndash lukebuehler 23 de junho 13 às 17:05 Os dados do CSI são bastante limpos em comparação com outros provedores, eu concordo, mas nós regularmente encontramos erros, mas oi, se você os informar, eles lhe enviarão uma caneta ndash lukebuehler 23 de junho 13 às 17: 14 Um conjunto de dados de cada símbolo no NASDAQ e NYSE em um intervalo de segundo ou minuto será enorme. Digamos que existem um total de 4000 empresas listadas em ambas as bolsas (isso provavelmente está no lado muito baixo, pois existem mais de 3200 empresas listadas no NASDAQ). Para os dados em um segundo intervalo, supondo que haja 6.5 horas de negociação em um dia, que lhe daria 23400 pontos de dados por dia por empresa, ou cerca de 93.600.000 pontos de dados no total desse dia. Assumindo 200 dias de negociação em um ano, isso é cerca de 18.720.000.000 de pontos de dados por apenas um ano. Talvez você queira começar com um conjunto menor primeiro Introdução: do yahoo você pode obter os preços históricos do EOD (final do dia) ou os preços em tempo real. Os preços do EOD são incrivelmente simples de baixar. Veja o meu blog para obter explicações sobre como obter os dados e para exemplos de código C. Estou no processo de escrever um mecanismo de feed de dados em tempo real que baixa e armazena os preços em tempo real em um banco de dados. O motor inicialmente poderá baixar os preços históricos do Yahoo e Interactive Brokers e poderá armazenar os dados em um banco de dados de sua escolha: MS SQL, MySQL, SQLite, etc. Seu código aberto, mas vou publicar mais informações sobre Meu blog quando me aproximo de liberá-lo (dentro de alguns dias). Outra opção é o eclipse trader. Permite gravar os dados históricos com granularidade com apenas 1 minuto e armazena os preços localmente em um arquivo de texto. Basicamente, baixa os dados em tempo real do Yahoo com uma demora de 15 minutos. Como queria uma solução mais robusta e estou trabalhando em um grande projeto escolar para o qual precisamos de dados, decidi escrever meu próprio mecanismo de feed de dados (que mencionei acima). Código de exemplo: aqui é um exemplo de código C que demonstra como baixar dados em tempo real: Banco de dados: no lado do banco de dados, uso uma conexão OleDb para o arquivo CSV para preencher um DataSet e, em seguida, atualizo meu banco de dados real através do DataSet. Basicamente, é possível combinar todas as colunas do arquivo CSV retornado do Yahoo diretamente ao seu banco de dados (se seu banco de dados não suportar inserções em lote de dados CSV, como SQLite). Caso contrário, a inserção dos dados é um one-liner. Apenas insira o CSV no seu banco de dados. Você pode ler mais sobre a formatação do URL aqui: gummy-stuff. orgYahoo-data. htm respondeu 24 de abril 10 às 17:27 épico, eu gostaria de ter encontrado isso anteriormente. Ndash ojblass 13 de fevereiro às 17:33 Isso realmente fornece dados em tempo real, como você sugeriu. Da página, ele tem esse parâmetro quotk1quot, mas, na última vez que chequei, ele ainda tem algum atraso. Ndash Antony 13 de junho 11 às 3:04 Antony na maioria das vezes há um atraso de algum tipo, então depende apenas de quão tolerante você seja com os atrasos. O Yahoo diz que eles fornecem dados em tempo real, mas certamente não é para todos os tickers. Os tickers que não são em tempo real são atrasados em até 15 minutos. Mesmo que você obtenha um servidor co-localizado na troca, ainda haverá um atraso quotomo. Então, que tipo de atraso você está disposto a tolerar ndash Lirik 13 de junho 11 às 13:17 Para os dados livres de viés de sobrevivência, a única fonte confiável que eu encontrei é QuantQuote (quantquote) Dados vem em minuto, segundo ou marca resolução, link Para seus dados históricos de estoque. Havia uma sugestão para o kibot acima. Eu faria uma rápida pesquisa no Google antes de comprar com eles, você encontrará muitas postagens como esta com avisos sobre problemas de qualidade de dados do kibot. Também está dizendo que o seu supostamente sobrevivência, o sp500 livre de vaga tem apenas 570 símbolos por 14 anos. Isso é praticamente impossível, o sp500 muda de 1-2 símbolos por mês. Respondeu 14 de setembro às 16:15 kibot tem apenas 3 símbolos gratuitos. O resto tem que pagar, ele está apenas fazendo propaganda ndash bouncingHippo 21 de novembro 12 às 15:47 Quantquote39s dados diários gratuitos são indocumentados: não há cabeçalhos de coluna nos arquivos csv e nenhum documento. Ndash user443854 5 de dezembro 12 às 22:04 Nós adquirimos 12 anos de dados intradiários da Kibot e estamos bastante satisfeitos com a qualidade. Quanto aos requisitos de armazenamento: 12 anos de dados de 1 minuto para todas as ações dos EUA (mais de 8000 símbolos) é de cerca de 100 GB. Com a situação dos dados tick-by-tick é pouco diferente. Se você gravar apenas tempo e vendas, seria cerca de 30 GB de dados por mês para todas as ações dos EUA. Se você deseja armazenar as alterações de solicitação de oferta junto com as transações, você pode esperar cerca de 150 GB por mês. Eu espero que isso ajude. Por favor, deixe-me saber se há algo mais com o qual posso ajudá-lo. Respondeu 30 de dezembro 09 às 9:25 Ainda satisfeito com KiBot boe100 ndash JaredBroad 13 de março 13 às 3:27 boe100 Eles têm preços ajustados e não ajustados Eles têm betas e deltas ndash user443854 28 de junho 13 às 16:16 Ambos ajustados e não ajustados Os dados estão disponíveis. É possível atualizar seus dados usando uma API HTTP ou baixar novos arquivos do servidor FTP diariamente. Não são calculados betas ou deltas. Ndash boe100 25 de setembro 13 às 8:20 O Yahoo é a opção mais simples para obter dados gratuitos preliminares. O link descrito na resposta eckesicles pode ser facilmente usado em um código python, mas primeiro você precisa de todos os tickers. Eu uso a NYSE para este exemplo, mas isso também pode ser usado para diferentes trocas. Eu usei essa página do wiki para baixar todos os tickers da empresa com o seguinte script (Não sou um Pythonist muito talentoso, desculpe se este código não seja muito eficiente): Para baixar cada ticker usei outro script bastante semelhante: Observe que a principal desvantagem desse método É que dados diferentes estão disponíveis para diferentes empresas - Empresas que não possuem dados existentes nas datas solicitadas (recém-listados) irão obter uma página 404. Também tenha em mente que esse método só é bom para dados preliminares. Se você realmente deseja testar seu algoritmo, você deve pagar um pouco e usar um fornecedor de dados confiável como CSIData ou outros respondidos 15 de novembro 13 às 8:05 Colocando uma declaração global dentro O espaço de nome global é desnecessário, boa resposta de qualquer forma. Ndash Luke Taylor 17 de dezembro 15 às 2:38 Id rastreie finance. google (para as citações) - ou finance. yahoo. Ambos irão retornar páginas html para a maioria das trocas em todo o mundo, incluindo histórico. Então, é apenas uma questão de analisar o HTML para extrair o que você precisa. Eu fiz isso no passado, com grande sucesso. Alternativamente, se você não se importa em usar Perl - há vários módulos no CPAN que fizeram esse trabalho para você - ou seja, extraindo cotações do GoogleYahoo. Bare Os dados Bones não incluem Gregos, IV, Stock OHLC ou estatísticas de opções. Os preços listados acima são apenas para comerciantes de varejo, não profissionais. Para obter uma cotação profissional, ligue ou envie-nos um e-mail. Estamos começando a transportar índices internacionais como SX5E, UKX e NKY. Por favor ligue para saber preços e disponibilidade. . Servindo Clientes Satisfeitos Desde 2003 HistoricalOptionData carrega cotações de fim de dia para todas as opções de compra de ações para os mercados de ações dos EUA. Isso inclui todas as ações, índice e ETF, para cada greve e expiração. Nós não carregamos opções em futuros, commodities ou moedas Forex ou opções para outros países. Quantos símbolos você carrega Atualmente, o número de ações, índices e ETFs que são opcionais é de aproximadamente 4,085. Nós carregamos todas as opções listadas para esses símbolos, para todas as greves e todas as datas de validade. Em um dia típico de negociação, trata-se de cerca de 620 000 contratos de opção distintos. Cada símbolo subjacente tem uma média de 150 contratos listados em qualquer momento. Você carrega o número de dados intraday. Todos os nossos dados são dados do final do dia.
No comments:
Post a Comment