Announcement

Collapse
No announcement yet.

Importazione dati storici tick by tick

Collapse
X
 
  • Filter
  • Time
  • Show
Clear All
new posts

    Importazione dati storici tick by tick

    Ciao a tutti i nuovi amici che incontrerò in questo forum al quale mi sono appena registrato. Entro nella comunity e già vi chiedo un aiuto sperando in futuro di poter essere io d'aiuto ad altri.
    Il problema è che, dopo centinaia di ore di studio, elaborazione e prove in manuale ho messo a punto una strategia automatizzata su MT4 della quale sono fiducioso. Ho fatto backtest della durata di 2 anni completando l'expert con un semplice sistema di analisi che a video (attraverso "comment") durante il test rende disponibili una serie di statistiche quali ad esempio la % le di performance nei vari mesi, giorni della settimana, fasce orarie del giorno ecc oltre ovviamente ai risultati complessivamente ottenuti in itinere di test. Ho testato con i dati storici di Metaquotes, TickStory e TickDownloader e purtroppo ottengo risultati diversi fra loro ma ancor peggio diversi da quelli che l'expert fornisce in reale. Si tratta di una strategia ad entrata e uscita veloci basata su TF a 5 minuti e risultati da ottenere nei 300 secondi seguenti il momento di ingresso. In test va bene e risulta essere piuttosto profittevole e stabile nei vari mesi, nei vari gg (a parte il lunedì mattina che statisticamente si manifesta meno proficuo degli altri) e nelle varie fasce orarie (ad eccezione di quella notturna nella quale ho preferito interrompere con un timer in automatico le entrate a mercato poichè meno profittevole delle fasce diurne. In reale purtroppo i risultati appaiono estremamente diversi da quelli in test. Non riesco a capacitarmi del perchè e vorrei riuscire a capire quali possono essere le ragioni di questo stravolgimento in negativo. A paragone rispetto al reale assumo la media fra i risultati ottenuti dalle tre fonti (Metaquotes, TickStory e TickDownloader) paragonandoli con quelli che sto ottenendo nel concreto. Preciso che il reale per ora si riferisce a poco meno di un mese mentre quelli in test sono stati analizzati, periodo per periodo, per due anni ma paragonando i risultati dello stesso mese (luglio/agosto) del 2016 e 2017 quelli in reale dello stesso periodo del 2018 sono apparsi drammaticamente negativi. Il dubbio è che il problema debba essere ricercato nell'algoritmo di creazione dei tick del tester da parte della MT4. Mi sono chiesto allora se è possibile importare direttamente il file tick by tick che ho visto essere presente nel download di TickDownloader e che mi è parso privo di "lacume" ed omogeneo nel tempo. Datemi per favore una mano a capire il PERCHE' possa avvenire ciò che vi ho documentato. E se è tecnicamente possibile vorrei capire come importare il file tick by tick o se ciò non è previsto in MT4 come aumentare il numero dei tick che l'algoritmo di MT4 genera forzando (se possibile) il "dato" volume.
    Grazie, se qualche amico esperto e curioso ritiene di potermi seriamente aiutare non avrò difficoltà, affinchè meglio possa analizzare il problema, a rendergli disponibile il file sorgente del mio bizzoso "parto".
    Ciao a presto
    Maurizio

    #2
    Originally posted by mauri1954 View Post
    Il dubbio è che il problema debba essere ricercato nell'algoritmo di creazione dei tick del tester da parte della MT4.
    ciao Maurizio, benvenuto nel forum,
    si certamente, come puoi leggere qui, il tick by tick di Metatraer4 è una simulazione, chiamata "Fractal Interpolation"
    DATI STORICI per Metatrader4: fractal interpolation, scaricamento e importazione


    Originally posted by mauri1954 View Post
    Mi sono chiesto allora se è possibile importare direttamente il file tick by tick
    Non uso più da anni il backtest/ottimizzazione con qualità al 99%, perché preferisco velocizzare le ottimizzazioni e quindi uso il Model: Open price only.
    Per un vero backtest tick by tick posso consigliarti questi due siti che vendono prodotti in grado di fare backtest con dati storici al tick REALI che quindi permettono di realizzare con Metatrader4 un backtest su dati al tick realmente avvenuti nel passato.

    https://tickstory.com/

    https://eareview.net/tick-data-suite
    La vita non è un giro di prova, cogli l’attimo..
    Realizzazione per Metatrader4 di trading system, indicatori, pattern grafici, Ottimizzazioni IS-OOS su Forex e CFD, Analisi di Portafoglio .

    Comment


      #3
      Grazie so che la MT4 ricrea i tick per questo motivo chiedo se è possibile importare in MT4 un file non a M1 ma tick by tick come quello ad esempio che si scarica di default da Tick Downloader e che mi è sembrato essere molto affidabile.
      Non so come si possa fare ad importare il file tick by tick perchè nel "centro storia" di MT4 non trovo questa possibilità ma solo quella di importare da M1 in sù. Sai darmi un suggerimento sull'importazione tick by tick o non è proprio possibile farla?

      Comment


        #4
        I due link a prodotti terzi che ho postato sopra offrono a pagamento anche del software che va installato ed è in grado di integrarsi con Metatrader4 per permettergli di fare il backtest tick a tick con i dati reali.
        La modalità è proprietaria dei due siti e ciascuno ha una sua logica per permettere il "gioco" del 99% con tick reali.
        Devi solo decidere quale provare e studiarti pian piano la procedura
        La vita non è un giro di prova, cogli l’attimo..
        Realizzazione per Metatrader4 di trading system, indicatori, pattern grafici, Ottimizzazioni IS-OOS su Forex e CFD, Analisi di Portafoglio .

        Comment


          #5
          OK grazie non sapevo del software che permette di lavorare su tick reali. Vedo tutto e ti faccio sapere come va.

          Comment


            #6
            Umbertosm volevo informarti che sto scaricando le banche dati di Dukascopy di uno dei fornitori che mi hai suggerito e tutto procede a meraviglia. Non ho trovato nessuna difficoltà a passare all'utilizzo di queste banche dati grazie alle ottime informazioni disponibili sul sito di https://eareview.net/tick-data-suite. Non lo dico ad alta voce ma probabilmente il problema stava proprio nelle banche dati ricreate da MT4 attraverso le candele da M1. A prove concluse ti riferirò.
            Per ora grazie sincere per avermi dato modo di continuare la sperimentazione del mio EA che appariva in reale avere comportamenti molto peggiorativi rispetto ai test. A presto e a buon .... rendere.
            Maurizio

            Comment


              #7
              Ciao Sono Simone...ho lavorato per quasi un anno ad EA scritto in Mql4 che opera sul TF a 1 Minuto aprendo una posizione all'apertura di una candela dopo che alla chiusura di quella precedente sono avvenute una serie di condizioni (non so programmare ho pagato un professionista che lo facesse)...ho fatto migliaia di Backtest prima di mettere l'EA in Real Time (forse potevo usare prima un conto demo ma non l'ho fatto e ormai continuo così anche perchè ho iniziato con il minimo indispensabile...insomma rischio poco e soprattutto quello che posso permettermi)...dopo qualche mese di Real Time mi sono accorto che al di la dei risultati (tutto sommato apprezzabili) , i prezzi si muovono in modo molto differente rispetto a quelli visti in fase di Test. Insomma per farla breve ho cominciato ad approfondire ancora di più (lo avevo già fatto ma evidentemente non abbastanza) la questione dell'affidabilità dei Test.
              Sono arrivato al questo forum facendo una ricerca su Google nel tentativo di risolvere il problema dei dati relativo ai BackTest che sono naturalmente legati alla qualità di dati storici.
              Ho letto con attenzione i post ed i relativi Link ma mi rimangono dei dubbi...
              Premesso che:
              1) TickStory e TickDataSuite mi semba di aver capito che sono Tool che raccolgono Serie Storiche e poi le regalano o le vendono ma da dove arrivano questi dati??? Per TickStory ho capito che ci sono diverse fonti ma per TickDataSuite mi sembra che i dati vengano presi solo da Dukas Copy...è Giusto?
              2) TickDataSuite oltre a permettere di scaricare dati poi fa altro: s'interfaccia direttamente con Mt4, ecc... (ma non ho ancora approfondito perchè se qualcuno di Voi lo ha già fatto evito d'investire del tempo inutile e approfitto...);
              3) MetaTrader4 Non permette di caricare serie storiche TickByTick ma solo con TF a partire da 1 minuto;
              4) Ci sono 3 modalità di Backtest su Metatrader ma se utilizzo quella "OgniTick" i Tick sono inventati (quindi è tutto un cavolo);
              5) le altre 2 modalità mi ridanno dei risultati meno accurati;
              le Domande a cui non sono ancora riuscito a darmi una risposta (e spero di trovare qualche anima pia che mi possa aiutare) sono:
              1) Invece di scaricare dati da TickStory e TickDataSuite (che dovrebbero entrambi prelevarli da DukasCopy) posso scaricarmeli direttamente da Dukas e non cambia nulla Giusto (lo chiedo xchè l'ho fatto ed è molto più rapido);
              2) Ho trovato anche un altro sito Histdata.com che ha una serie di dati molto ampia e su molte valute: qualcuno sa dove prende i Dati?
              3) da quello che ho capito ogni Broker si genera i propri dati ma quindi non c'è un fornitore di dati più affidabile di un altro?
              ​​​​​​4) ma se ogni Broker genera i propri prezzi Io dovrei scaricarmi la serie storica del Broker con il quale opererò...cioè che ci faccio con dei dati super professionali se poi il mio EA gira su un broker che forma i prezzi in un modo comunque diverso da quello della mia serie di dati storici;
              5) che differenza di qualità di può essere tra diverse serie di dati: il fatto che potrebbero esserci dei dati mancanti (magari qualche candela qua e la)? oppure è proprio una questione di veridicità dei dati (cioè magari quelli a pagamento sono dati che rispecchiano fedelmente cosa è successo in passato mentre quelli Gratuiti non proprio)?
              6) se il mio EA lavora sulle candele ad un Minuto (senza la discriminante del volume) a me basta una serie storica ad 1 minuto? oppure sarebbe meglio avere dati tickByTick per poi lasciare il compito ad un Software di ricreare la candela ad un minuto? Insomma almeno i dati di Apertura Chiusura Minimo e Massimo sono veritieri nelle serie storiche?
              5) a volerli pagare ci sono dei siti che vendono dati così tanto migliori di quelli che si trovano gratuitamente?
              6) da quello che ho capito visto che il Mio EA lavora su un Time Frame ad un minuto è inutile che su MetaTrader faccia un BackTest nelle prime due modalità proposte "Ogni Tick" "Punti di Controllo" ma forse mi conviene fare usare l'ultima scelta "solo prezzi d'apertura";
              7) per avere dei test più attendibili ho anche cercato dei SoftWare che facessero solo la funzione di BackTest (usando naturalmente il Mio EA) e ne ho trovato 2: ForexTester e SmartForextester: qualcuno li usa?
              ...Vabbe forse ho chiesto troppo...comunque spero che qualcuno abbia i miei stessi problemi che magari due tre o quattro teste sono meglio di una (specialmente la mia) o meglio ancora che qualcuno abbia già risolto tutti i dubbi che ho Io e sia così generoso da condividere il pezzo di strada che già ha fatto...Grazie in anticipo!!!

              Comment


                #8
                ciao Simone rispondo per quel che conosco.

                Originally posted by NiSophia View Post
                2) Ho trovato anche un altro sito Histdata.com che ha una serie di dati molto ampia e su molte valute: qualcuno sa dove prende i Dati?
                http://www.histdata.com/download-fre...ute-bar-quotes
                è un ottimo sito, offre dati gratuiti ottimi (senza buchi come provato con il mio script) ed una volta li confrontai con i futures H1 regolamentati e li trovai estremamente simili.
                Mai provato i dati che histdata.com offre a pagamento.
                Non so la fonte da cui prende i dati.


                Originally posted by NiSophia View Post
                3) da quello che ho capito ogni Broker si genera i propri dati ma quindi non c'è un fornitore di dati più affidabile di un altro?
                ​​​​​​4) ma se ogni Broker genera i propri prezzi Io dovrei scaricarmi la serie storica del Broker con il quale opererò...cioè che ci faccio con dei dati super professionali se poi il mio EA gira su un broker che forma i prezzi in un modo comunque diverso da quello della mia serie di dati storici;
                Si, proprio così, ed è per questo che da un paio di anni anno circa io non uso più i dati presi da altra fonte per ottimizzare i miei EA: uso direttamente i dati che offre il broker su cui poi andrò a mettere in live i miei EA.
                Inoltre lascio andare da un paio di anni una Mt4 live con le coppie forex e cfd che mi interessano, per poter avere disponibili anni di dati storici ed averli sempre disponibili quando mi servono.


                Originally posted by NiSophia View Post
                6) se il mio EA lavora sulle candele ad un Minuto (senza la discriminante del volume) a me basta una serie storica ad 1 minuto? oppure sarebbe meglio avere dati tickByTick per poi lasciare il compito ad un Software di ricreare la candela ad un minuto? Insomma almeno i dati di Apertura Chiusura Minimo e Massimo sono veritieri nelle serie storiche?
                Io non ottimizzo mai tick a tick, ma è una mia scelta; costruisco l'EA per farli lavorare in modalità "Solo prezzi di apertura", cioè l'EA decide se aprire un trade o chiuderlo soltanto ad apertura di barra, qualsiasi sia il timeframe che uso: questo mi velocizza enormemente le ottimizzazioni e mi svincola dal problema dei tick generati algoritmicamente da Mt4.
                Perciò, non ho interesse a comprare software che permettono di ottimizzare un EA al tick con dati reali: per me è soltanto una enorme perdita di soldi e di tempo.
                L'unico caso in cui potrebbe essere utile il tick by tick è solo per ottimizzare un EA che fa scalping!


                Originally posted by NiSophia View Post
                6) da quello che ho capito visto che il Mio EA lavora su un Time Frame ad un minuto è inutile che su MetaTrader faccia un BackTest nelle prime due modalità proposte "Ogni Tick" "Punti di Controllo" ma forse mi conviene fare usare l'ultima scelta "solo prezzi d'apertura";
                Le modalità "Ogni tick" e "Solo prezzi di apertura" seguono logiche diverse e sono entrambi utili per fare backtest validi, ma soltanto se il codice dell'EA è scritto per uno o per l'altro modello.
                Invece "Punti di controllo" per me è un fake, una modalità né carne né pesce, qualcosa di totalmente inutile che non andrebbe mai usato.


                Originally posted by NiSophia View Post
                7) per avere dei test più attendibili ho anche cercato dei SoftWare che facessero solo la funzione di BackTest (usando naturalmente il Mio EA) e ne ho trovato 2: ForexTester e SmartForextester: qualcuno li usa?
                Tanti anni fa usavo ForexTester per l'allenamento al trading manuale, ottimo software, ma poi abbandonato per fare trading automatico.
                La vita non è un giro di prova, cogli l’attimo..
                Realizzazione per Metatrader4 di trading system, indicatori, pattern grafici, Ottimizzazioni IS-OOS su Forex e CFD, Analisi di Portafoglio .

                Comment


                  #9
                  Grazie per le risposte così puntuale ed anche visivamente comprensibili...mi è rimasto solo un dubbio rispetto a quanto mi hai scritto:
                  "Punti di Controllo è un Fake"...quindi nel mio caso che ho un EA che lavora su TF ad 1 Minuto e compera all'apertura successiva all'avveramento della condizione e chiude all'apertura della barra successiva a quella in cui si avvera la condizione d'uscita devo scegliere la modalità "Solo prezzi d'apertura x i miei BackTest...Giusto???

                  Comment


                    #10
                    Ciao, dovresti salvare i dati tick del tuo broker e ci sono diversi sistemi per farlo. Successivamente con Tickdatasuite puoi gestirli.

                    Comment


                      #11
                      Ho Capito bene??? Credo che se comincio ora a salvare i dati tick del mio Broker poi devo aspettare 4-5 per avere una serie storica appena sufficientemente ampia??? Forse non ho capito cosa volevi dirmi...

                      Comment


                        #12
                        Certo hai capito bene, prima cominci e prima avrai i dati, ma per capirlo meglio se vuoi puoi pagare qualche corso che nella maggiorparte dei casi non ti insegnerà nulla ma forse sarai piu' soddisfatto/a. Darwinex mi sembra che metta a disposizione i suoi dati tick e un indicatore semplice che scrive su file in tempo reale di cui poi devi valutare l'efficienza se vuoi prendere molti simboli.

                        Comment


                          #13
                          ...allora giusto per cominciare a dare qualcosa in cambio all'attenzione che ho ricevuto Vi dico che:
                          Stamattina (anzi diciamo da stanotte) l'ho dedicata a fare un pò di chiarezza sui dati e ho fatto un piccolo esperimento terra terra...Ho scaricato un mese di dati di Eur/Usd ad 1 minuto (dal 01-03-2013 al 31-03-2013) sia di TickStory che direttamente da DukasCopy (per l'esattezza dalla Piattaforma JForex) e i dati sembrano identici (certo li ho confrontati ad riga per riga quindi solo l'inizio e solo un numero limitato di righe).
                          Allego i 2 File CSV magari qualcuno avesse qualche script per fare un controllo più approfondito (quello nominato Eur/Usd è stato generato da TickStory).
                          Magari ai più sembrerà la scoperta dell'acqua calda ma vi assicuro che fino ad ora ci ho investito decine e decine di ora per arrivare fino a questo punto.
                          p.s. come non detto la piattaforma non mi permette di caricare i file csv (se qualcuno li vuole glieli spedisco per email) intanto ho allegato lo Spam del Mio monitor in PDF
                          Attached Files

                          Comment


                            #14
                            Originally posted by Zero View Post
                            Certo hai capito bene, prima cominci e prima avrai i dati, ma per capirlo meglio se vuoi puoi pagare qualche corso che nella maggiorparte dei casi non ti insegnerà nulla ma forse sarai piu' soddisfatto/a. Darwinex mi sembra che metta a disposizione i suoi dati tick e un indicatore semplice che scrive su file in tempo reale di cui poi devi valutare l'efficienza se vuoi prendere molti simboli.
                            Ok Capito...Grazie x la schiettezza!!!
                            Ho fatto una piccola ricerca su DarWinex e ho capito che è un Broker che se apri un conto reale ti mette a disposizione i suoi dati TickByTick...ma i dati TickByTick li ho anche con DukasCopy...questi di Darwinex ritieni possano essere migliori??? poi la questione dell'indicatore non l'ho proprio capita...e comunque mi sembra che avevamo dato per scontato di fare dei BackTest con dei dati storici provenienti da una piattaforma con la la quale poi si sarebbe fatto anche il trading in reale...dal Sito di DarWinex non si capisce quali piattaforme mette a disposizione...siccome ormai ho un età (48 quasi) che non mi permette d'investire troppo in la nel tempo secondo te quale potrebbe essere la strada migliore (naturalmente anche a pagamento) per venire fuori da sto pantano di serie storiche!!!
                            p.s. mi ricordavo di aver visto il logo di Dawinex da qualche parte...il Tool QuantDataManager che permettte di scaricare serie di dati storici al pari di Tickstory, ecc...permette di scaricare anche dati da Darwinex
                            Last edited by NiSophia; 18-04-2020, 14:45.

                            Comment


                              #15
                              ...è la prima volta in assoluto che scrivo su un Forum e non so se mi sto comportando sia Eticamente e che Formalmente bene...
                              Pongo un altro quesito senza aprire un altro Post forse è meglio visto che l'argomento è lo stesso:
                              Qualcuno sa dirmi se è meglio scaricare dei Dati con candele ad un minuto oopure scaricare dati TickByTick e poi ricreare le candele ad un minuto con uno script (una volta un mio programmatore me ne aveva fatto uno in Python) o viceversa è lo stesso (naturalmente dallo stesso fornitore di dati)!!!

                              Comment

                              Working...
                              X