DATI STORICI per Metatrader4: fractal interpolation, scaricamento e importazione

[umbertosm]

'expert deve essere ottimizzato su 5 parametri i quali a loro volta possono assumere una decina di valori. questo comporta un elevato numero di combinazioni ed il test richiede tempi lunghissimi per ottenere i risultati (oltre 200 ore) naturalmente utilizzando la modalità every tick. mi chiedo se questo è il corretto modo di procedere o se forse è meglio eseguire diversi test uno per ogni parametro dell'expert prendere il valore che restituisce il miglio risultato inserilo nel secondo paramentro e procedere a trovare la combinazione migliore per poi ripetere l'operazione con i parametro successivi. i tempi si riducono notevolmente ma non so se sia un modo corretto di procedere. sapresti darmi qualche indicazione in mertio?

ciao ballgius, non esiste un metodo ottimale su come si ottimizza, ognuno artigianalmente si crea da sé le proprie linee guida.

In generale io cerco di ottimizzare un numero minimo di variabili, due al massimo, per l'ovvia ragione di evitare l'overfitting sui dati storici.

Ma se ho ben 5 variabili su voglio individuare i valori ottimali, devo necessariamente lavorare su un ampio range di dati storici, al fine di avere almeno 1000 trade che mi dia un minimo di significatività statistica.

Ad esempio ho 5 variabili che voglio ottimizzare:
1. numero di pip di takeprofit
2. numero di pip di stoploss,
3. numero di barre di un'indicatore o una variabile relativa ad un pattern di candele
4. numero di pip dal prezzo di apertura del trade da cui scatta il trailing stop
5. orario di inizio ed orario di fine della giornata in cui l'EA può aprire i trade


Non ottimizzo le 5 variabili tutte insieme, ma inizialmente fisso a priori un valore per ciascuna delle variabili 3, 4 e 5
ed inizio ad ottimizzare insieme i pip di takeprofit e di stoploss

Dopo aver trovato i valori ottimali di TP e SL, passo ad ottimizzare la variabile 3. (indicatore o pattern)

Poi passo al trailing stop ed infine agli orari di trading.

In questa sequenza ad ogni ottimizzazione faccio osservazioni sul comportamento dell'EA e decido man mano di ritoccare il passo ed il range di valori delle variabili da ottimizzare.

Il demo live mi dirà se ho fatto overfitting o se ho ottimizzato per bene e guadagno come l'ottimizzazione sui dati storici prevederebbe.

[LVCA]

Vorrei segnalarvi anche questo sito ;
http://www.forextester.com/data/data...-kS6ERm9mvXg.1
dove poter scaricare dati 1M di buona qualità, per i maggiori cambi/cross + oro e argento i dati sono free.

Ciao , attenzione che secondo me non sono buoni questi dati, già provati , in quanto il feed è a 4 decimali . I backtest risultano pertanto completamente sfalsati su TF intraday

I backtest sono molto veloci ma puoi usarli solo su TF molto lenti , daily direi e basta , forse forse H4 ....

[mirco]

Il metodo Control points (Punti di controllo) fa un backtest sui dati storici usando i 4 valori Open, High, Low e Close (=OHLC[SIZE=14px]) del timeframe immediatamente inferiore a quello su cui stai facendo girare il backtest,

Grazie umberto per l'utilissimo tutorial.

Ho verificato che utilizzando dati M1 con volumi originali la velocità di elaborazione del backtest su M5 con metodo "punti di controllo" è sensibilmente superiore rispetto alla stessa base dati e volumi impostati a 4 per ogni candela M1 (e di conseguenza 20 per le candele M5 ottenute con period converter).

I risultati sono identici

mi sarei aspettato la stessa velocità, visto che vengono considerate solo OHLC M1.

[Exploit]

Provando a utilizzare il tick downloader di strategyquant, dopo aver inserito la cartella di destinazione storico e salvando, provo a scaricare lo storico e mi dice sempre errore cartella di destinazione non impostata.
Aprendo di nuovo le impostazioni effettivamente la cartella non c'è nonostante l'abbia inserita precedentemente. Qualcuno ha lo stesso problema?
Grazie

[umbertosm]

Io con il Tick Data Downloader NON posso modificare la cartella di destinazione storico, è per default
\TickDataDownloader\tickdata
io uso regolarmente il software e mi funziona sempre bene

[mirco]

in effetti vedo ora che è possibile modificare la cartella (data output directory). Tasto blu settings (versione 4.2.0).
ho lasciato le impostazioni di default (v. msg umbertosm) e a me non ha mai dato problemi.
ho provato ora a cambiare cartella e scarica regolarmente.

ps: durante l'installazione dell'applicazione era suggerita di posizionare in C: per evitare eventuali problemi con windows... probabilmente non ha nulla a che vedere con il tuo problema, ma giusto per procedere per esclusione

[Cristian]

Un saluto a tutti e complimenti ad Umberto per l'ottima guida.

Se testo strategie che eseguono ordini intrabar di fatto devo usare modalità ogni tick. Cosi facendo comunque non posso neppure testare 2 anni per volta di una semplice strategia daily, perchè il sistema produce un file FXT enorme che satura lo spazio disco. Ad esempio se dovessi testare dal 2006 al 2016 dovrei eseguire 10 volte il test anno per anno poi esportare i dati su excel e aggreagare il tutto.

Esiste un rimedio a tutti questo? Avete anche voi lo stesso problema oppure sto sbagliando io?

Grazie

[umbertosm]

è così Cristian, Metatrader4 ha un limite di 4 o 6 GB del file .FXT (dipende dalla versione 32 bit e 64 bit)

Non c'è soluzione per un backtest in modalità ad ogni tick di 10 anni, se non nel modificare preventivamente tutte le candele M1 con un volume basso, ad esempio = 4.
Ma per far questo devi usare Excel.

Poi con queste candele importate dentro Metatrader4 generare tutti i timeframe.

il volume delle barre M1 = numero di tick che Metatrader4 considera nella barra M1.

[Cristian]

Grazie Umberto è un ottimo consiglio.
Ci provero' e ti faro' sapere.

Grazie 1000 ancora.

Ciao

[Cristian]

Ciao Umberto.

Ho provato la procedura precedentemente descritta per l'intrabar ed è tutto ok.
Ho pero' notato un problema, ovvero le candele settimanali e mensili anziché iniziare dal lunedì o dal primo del mese, iniziano da un giorno diverso. Nella visualizzazione giornaliera e sui time frame ridotto sembra invece tutto ok?

Qualche consiglio? Dove Sbaglio?

Grazie
Ciao

PS: Se puo' essere d'aiuto aggiunco che ho esportato in UTC+1 (Roma) è importo simulando un broker (Activ) che ha la candela della domenica.

[umbertosm]

Ho pero' notato un problema, ovvero le candele settimanali e mensili anziché iniziare dal lunedì o dal primo del mese, iniziano da un giorno diverso. Nella visualizzazione giornaliera e sui time frame ridotto sembra invece tutto ok
Qualche consiglio?

Bravo Cristian, anche io l'ho notato qualche mese fa ed ho risolto
PeriodConverter corretto per calcolare le candele settimanali e mensili dai dati M1

[Cristian]

Adesso leggo l'articolo Umberto.

Tutto quello che hai scritto sino ad adesso è stato utilissimo,
Grazie 1000 ancora, anche per le risposte velocissime!!
:05.wink_80_anim_gif

[alberto7460]

bUONGIORNO,
HO SEGUITO TUTTA LA PROCEDURA PER SCARICARE I DATI STORICI, SOLO CHE QUANDO DEVO IMPORTARLI DALLA MT4 NON RIESCO A TROVARE I FILE NEI DOWNLOAD (ANCHE GUARDANDO I FILE RECENTI SCARICATI NON RISULTANO) SBAGLIO QUALCOSA?

[umbertosm]

Ciao Alberto, premessa...

- Quello che hai scritto è il tuo primo post, sarebbe carino che ti presentassi nella sezione Presentazione nuovi utenti
- Non scrivere tutto MAIUSCOLO, è stranoto che su Internet scrivere in maiuscolo equivale a gridare :29.lipssealed_80_an


Rispondendo alla tua domanda... scrivi "NON RIESCO A TROVARE I FILE NEI DOWNLOAD"

Non comprendo cosa avresti scaricato nel generico "NEI DOWNLOAD"...
il software che permette di scaricare i dato storici si chiama Tick Data Downloader
e nel post dove spiego la procedura, scrivo

Al termine dell’esportazione, che può impiegare molto tempo, nella cartella
C:\TickDataDownloader\tickdata
troveremo diversi file, tra cui i seguenti....

(...)

A noi interessa soltanto il file EURUSD_M1_UTC+1_00.csv
che contiene i dati storici del broker Dukascopy, relativi alle candele M1 con tempo GMT+1
con i soli 4 valori che individuano una candela M1: Open, High, Low, Close

Se rileggi tutto con attenzione scopri dove si trovano il file excel dei dati storici che hai scaricato con il software.

[alberto7460]

Ciao,
non riesco a trovare la cartella TickDataDownloader, il software l'ho scaricato ma l'unica che trovo e' questa (vedi allegato)