DATI STORICI per Metatrader4: fractal interpolation, scaricamento e importazione

[Nicholas]

Si è così.
IMPORTANTE: devi avere tutti i timeframe caricati nell'History Center da M1 a D1 se vuoi che l'Expert Advisor interroghi correttamente i dati EURUSD H1 ed EURUSD D1.
Se non hai i dati D1 di EURUSD caricati nella Mt4, quando l'EA interroga D1 Mt4 restituisce valori inventati e sbagliati.


Esatto, NON puoi fare il backtest di una strategia su EURUSD H1 che vuole leggere anche i dati di GBPJPY D1.
Però puoi fare funzionare correttamente un EA in Live (demo o real) su un grafico EURUSD H1 e che legge anche i dati di mercato di altri cross, come ad esempio GBPJPY D1, o JPYUSD H4, ecc.

Scrivi <<tutti i dati>> cosa intendi? A rigor di logica devo avere i soli timeframes che mi servono e non tutti giusto? Se lavoro su H1 e D1 posso non avere H4 penso... in oltre se io, tramite Tickstory, scarico i files .FXT in tester vorrà dire che la MT4 non creerà nessun file temporanei .FXT in quanto li trova già giusto? Se invece tester è vuoto allora leggere in centro storia e creerà i files temporanei per il BT dopodiché li cancellerà credo...

[umbertosm]

Scrivi <<tutti i dati>> cosa intendi? A rigor di logica devo avere i soli timeframes che mi servono e non tutti giusto? Se lavoro su H1 e D1 posso non avere H4 penso...

Per fare un backtest/ottimizzazione decente devi avere tutte le candele da M1 a D1
altrimenti se usi soltanto candele H1 e D1, quando fai il backtest l'EA ha disposizione soltanto i 4 valori di Open, High, Low e Close di ciascuna candela H1
e non hai tutto il dettaglio delle candele M1 all'interno della candela H1: il backtest ha una bassissima valenza statistica.

Come avevo spiegato nel post #3 di questo thread, lavorando su un grafico M1 del cross che vuoi usare, devi eseguire lo script PeriodConverter.mq4
Questo script permette di calcolare automaticamente tutti i timeframe di una coppia di valute o CFD, partendo dalle candele M1, imputando ad ogni esecuzione dello script il moltiplicatore adatto a costruire il timeframe successivo ad M1

in oltre se io, tramite Tickstory, scarico i files .FXT in tester vorrà dire che la MT4 non creerà nessun file temporanei .FXT in quanto li trova già giusto? Se invece tester è vuoto allora leggere in centro storia e creerà i files temporanei per il BT dopodiché li cancellerà credo...

come già avevo postato,
- Ad ogni nuovo backtest/ottimizzazione, ogni volta Metatrader4 ricrea da capo il file .FXT sovrascrivendo quello precedente: funziona così, non ci puoi fare nulla.

Tickstory può anche copiare dentro Mt4 il file .FXT, ma Metatrader4 lo cancella e lo rigenera da capo, ANCHE SE LO TROVA GIA' PRESENTE!

...a meno che non usi Tickstory nella modalità "pirata" per fare un backtest al tick al 99% di qualità
allora in questo caso il file .FXT di Tickstory NON viene sovrascritto/rigenerato da Metatrader4 che usa quello generato da Tickstory
NOTA: io non uso questo metodo perciò non so aiutarti ulteriormente su questo aspetto.

[Nicholas]

Ok chiaro, quindi in definitiva tu dici di avere TUTTI i files .CSV (dei vari timeframes) caricati in centro storia (anche mantenendo tester in history vuoto). A quel punto la MT4 genererà i files .FXT temporanei e farà i BT. STOP.

[umbertosm]

Ok chiaro, quindi in definitiva tu dici di avere TUTTI i files .CSV (dei vari timeframes) caricati in centro storia

No, non hai studiato a fondo la procedura descritta ai primi post di questo thread, ti consiglio di studiarla e rileggerla più volte: è collaudata e funzionante da anni.

Per avere i dati storici di un cross caricati sulla Mt4,
basta avere 1 solo file .CSV di quel cross che contenga le sole candele M1

Tutte le candele M1 sono in quel file .CSV e vengono importate nel centro storia come descritto nella procedura.
Dopo aver importato dal file .CSV le candele M1,
vanno poi generati tutti i successivi timeframe fino a D1, e questa generazione è ben descritta e lo fai con lo script di cui sopra.

Quando hai generato tutti i timeframe del cross, ora hai tutti i dati storici completi per quel cross caricati correttamente sulla Mt4.

Ora, fissando le date di inizio e fine del backtest, Metatrader4 genererà il file .FXT per questo specifico intervallo di dati scelti.

[Mark47]

Umberto giusto una puntualizzazione (e tra l'altro grazie per l'infinita pazienza).
TickDownloader (dopo aver scaricato i vari dati) estrae e crea in automatico tutti i vari file CSV per ogni TF (dal tick, M1, M5 etc...) permettendo quindi (volendo) di importare tutti i vari TF nel centro storia uno per uno.
Dici che anche facendo cosi può andare o per una maggiore "sicurezza" meglio importare solo M1 e poi generare gli altri usando lo script. (come consigliato da te nel post 3 appunto)

Per la cronaca mentre magari ai tempi dei primi post dava problemi buttando dentro troppi anni tutti insieme io per ora non ho riscontrato problemi buttando dentro in una sola volta 2010-2018 M1.

[umbertosm]

TickDownloader (dopo aver scaricato i vari dati) estrae e crea in automatico tutti i vari file CSV per ogni TF (dal tick, M1, M5 etc...) permettendo quindi (volendo) di importare tutti i vari TF nel centro storia uno per uno.
Dici che anche facendo cosi può andare o per una maggiore "sicurezza" meglio importare solo M1 e poi generare gli altri usando lo script. (come consigliato da te nel post 3 appunto)

Per la cronaca mentre magari ai tempi dei primi post dava problemi buttando dentro troppi anni tutti insieme io per ora non ho riscontrato problemi buttando dentro in una sola volta 2010-2018 M1.

Ok, SI, i file CSV di un singolo cross contenenti le candele dei timeframe da M1 in su, generati da TickDownloader, possono essere importati separatamente uno dopo l'altro in Mt4,

come alternativa all'importare un solo file .CSV M1 e poi creare dentro Mt4 tutti gli altri timeframe con lo script PeriodConverter.mq4

Io seguo il metodo dello script (come proposto di default nella Mt4, dalla stessa Metaquotes) perché impiego meno tempo,
ma se ci si trova meglio nell'importare uno ad uno tutti i file .CSV dei vari timeframe va bene uguale.

[Nicholas]

No, non hai studiato a fondo la procedura descritta ai primi post di questo thread, ti consiglio di studiarla e rileggerla più volte: è collaudata e funzionante da anni.

Per avere i dati storici di un cross caricati sulla Mt4,
basta avere 1 solo file .CSV di quel cross che contenga le sole candele M1

Tutte le candele M1 sono in quel file .CSV e vengono importate nel centro storia come descritto nella procedura.
Dopo aver importato dal file .CSV le candele M1,
vanno poi generati tutti i successivi timeframe fino a D1, e questa generazione è ben descritta e lo fai con lo script di cui sopra.

Quando hai generato tutti i timeframe del cross, ora hai tutti i dati storici completi per quel cross caricati correttamente sulla Mt4.

Ora, fissando le date di inizio e fine del backtest, Metatrader4 genererà il file .FXT per questo specifico intervallo di dati scelti.

Si certo è quello che faccio, ti ho scritto che bisogna avere tutti i dati perché quello è il fine che poi li generi con lo script o li scarichi direttamente dal software comunque è bene avere tutti i timeframes. Io personalmente li genero dall'M1 come dici tu in quanto risparmio tempo nello scarico dati!

Grz1000

[Nicholas]

Umberto giusto una puntualizzazione (e tra l'altro grazie per l'infinita pazienza).
TickDownloader (dopo aver scaricato i vari dati) estrae e crea in automatico tutti i vari file CSV per ogni TF (dal tick, M1, M5 etc...) permettendo quindi (volendo) di importare tutti i vari TF nel centro storia uno per uno.
Dici che anche facendo cosi può andare o per una maggiore "sicurezza" meglio importare solo M1 e poi generare gli altri usando lo script. (come consigliato da te nel post 3 appunto)

Per la cronaca mentre magari ai tempi dei primi post dava problemi buttando dentro troppi anni tutti insieme io per ora non ho riscontrato problemi buttando dentro in una sola volta 2010-2018 M1.

Mark47 ma i tuoi dati sono belli a vedersi? Io ho provato dal 2003 e, come postato qui, ho degli anni orribili solo a vedere le candele, sarà forse il file troppo grande >4GB! Difatti nella finestra sotto di Tickdownloader ho diversi "data missing" e errori vari... riprovo M1 EURUSD 2008-oggi e poi posto i risultati (scelgo 2008 per l'inizio della crisi, magari i mercati sono un po' cambiati), poi monitoro la dimensione del file e vedo......

[Nicholas]

Inoltre, Metatrader è in grado di leggere un file .FXT fino a 4 GB, dopodiché simula di continuare a fare il backtest, ma non effettua nessuna elaborazione.
Ecco il perché se il Tester genera un file .FXT di dati storici di 6 GB ad esempio,
il backtest dell’EA farà trade soltanto fino ad una certa data e poi non più: il Tester smette di elaborare i dati storici sui cui dovrebbe andare a lavorare il trading system, quando raggiunge la data corrispondente a 4 GB di dati storici dentro il file .FXT


A parità di intervallo di tempo di un backtest, le dimensioni del file .FXT per un backtest EveryTick dipende dal valore del VOLUME che hanno le candele M1, perciò può accadere che

- con soli 2 anni di dati storici si ottiene un file .FXT di 4 GB, quando il volume delle candele M1 è mediamente di 20;

- se invece il volume delle candele M1 è basso, il minor numero di tick dentro le candele M1 permette di poter fare un backtest anche di 4 o più anni, perché il file .FXT si manterrà al di sotto dei 4 GB.

Quindi per capire se il file .FXT supera i 4GB abbiamo 2 modi? 1) se vediamo che il test si interrompe e non procede più avanti; 2) tenendo aperta la cartella tester\history\ e monitorando la dimensione del file creato?

[umbertosm]

il problema delle dimensioni del file .FXT pare essere superato negli ultimi anni, come leggi al post #145

[Nicholas]

Si clicca su Configure e si sceglie lo scostamento (=offset) dell’orario delle candele M1 rispetto all’orario di Greenwich GMT da esportare per fare i backtest con l’orario del proprio broker.

Le due variabili da scegliere per decidere correttamente come esportare i dati sono:
(1) l'orario UTC del broker su cui gira il server di Metatrader4;
(2) il luogo dove il broker ha sede relativamente all'orario del server, per sapere se va considerata anche l'eventuale ora legale (ad esempio in Unione Europea).

L’orario UTC (= Coordinated Universal Time) è il fuso orario di riferimento da cui sono calcolati tutti gli altri fusi orari del mondo; è derivato dal tempo medio di Greenwich (in inglese Greenwich Mean Time, GMT), con il quale coincide a meno di approssimazioni infinitesimali, quindi GMT = UTC.

Ad esempio, per Activtrades, come si può leggere nelle FAQ - LIVE TRADING
https://www.activtrades.it/index.aspx?page=faq
l'orario impostato sulla piattaforma MetaTrader 4 e' il CET (l'orario vigente in Italia).
quindi il setting dell'esportazione sarà come se il server del broker ActiveTrades fosse in Italia:
TIMEZONE: UTC + 1 ORA LEGALE: SI

L’UTC corretto si sceglie nel campo Change timezone
che spesso valorizza automaticamente anche l’ora legale: Daylight savings: Yes

[ATTACH=CONFIG]n1062[/ATTACH]

OK – Export data

[ATTACH=CONFIG]n1063[/ATTACH]

Umbertosm non mi è chiaro il doppio range di dati sia su configure (relativo a Export data) sia su Change download range (relativo a Start Download). Cioè configure serve all'orario e al TF da scegliere però chiede nuovamente le date... e poi Export data a cosa serve e cosa differisce da Star Download? Forse serve a dividere il file in più files... mi sono perso...

[umbertosm]

devi fare le prove da te, smanettare e verificare, poi ti sarà chiaro

[Nicholas]

umbertosm sai cosa sono questi files che erano insieme ai TF .hst? Dici che posso cancellarli?

La MT4 è diretta da Metaquotes e non da un Broker...
Cattura.PNG

[umbertosm]

I tre file nell'immagine NON vanno mai cancellati, contengono la lista dei simboli Forex e CFD che il broker offre.


P.S. non è necessario che fai il quote dell'intero lungo post, ma solo delle poche parole che servono a capire a quale contesto ti stai rivolgendo con il tuo post.

[Nicholas]

I tre file nell'immagine NON vanno mai cancellati, contengono la lista dei simboli Forex e CFD che il broker offre.

Ok! Anche se dopo aver convertito tutti i TF (con lo script Converter) non avevo i file .hst dentro ma avevo altri files di altri cross che sembra riappaiano anche se li cancello... boh..

P.S. non è necessario che fai il quote dell'intero lungo post, ma solo delle poche parole che servono a capire a quale contesto ti stai rivolgendo con il tuo post.

A scusa, non sapevo neanche del problema... vedrò di capire come fare. Grz