Walk Forward Analysis

[Cristian]

Ciao a tutti,

Scusate ma non ho capito se la wfa la eseguite a mano, oppure usate qualche software.
Tra i software citati SQ sembra ottimo, ma non è free. Ho trovato questo http://www.easyexpertforex.com/ lo consigliate?
Eventualmente mi date qualche suggerimento?

Grazie 1000

Ciao
Cristian

[umbertosm]

Si anni fa acquistai quel software per la WFA, è ben fatto!

Da tempo ormai viene regalato.

[futuregain]

Una domanda.....Se ad ogni tot. di storico IS vado poi a vedere se i settaggi dell'IS andavano bene per l'OS e via di seguito per gli altri IN e OS...da ciò mi sembra di capire che ad ogni OS reale i parametri varieranno (se pur di poco) ad ogni periodo (salvo trovare dati input che vanno bene per ogni periodo...) per cui non ha più significato creare un EA e come si fa di solito fare i fighetti facendolo girare da una data molto lontana fino ad oggi vedendo una bella equity che sale...questo perchè dall'applicazione della WFA i parametri OS da usare poi in real cambiano "sempre" (per il periodo di OS), no?
Non so se mi sono spiegato bene....

[umbertosm]

Non ho capito.
Se leggi bene i primi post di questo thread la teoria della WFA è spiegata in ogni dettaglio.

[futuregain]

Volevo dire semplicemente, supponiamo che ho un sistema e faccio dei backtest a partire dal 05/09/2015 e testandolo fino ad oggi è un'anno intero.
Supponiamo che voglio testare il TS con una WFA in cui faccio 3 mesi di IS ed uno OS da ciò otterrò sempre dei settaggi diversi da applicare ai mesi da tradare in OS (supponiamo che ottimizzo solo due parametri che sono lo SL e il TP); pertanto il primo mese ad esempio ottengo come valori che scelgo di OS --> SL=30 TP=40- poi di nuovo altri tre mesi di IS e scelgo come parametri da usare per il successivo OS --> SL= 35 TP=42, e così via fino alla fine....venendo al dunque quindi ad ogni ottimizzazione di IS utilizzerò per il successivo periodo di OS valori diversi di ST e TP ed avendo programmato l'EA in maniera tale da poter impostare solo una volta all'inizio i valori di ST e TP non ha senso quindi fare un backtest che parte dal 5 Settembre dell'anno scorso fino ad oggi impostando dei valori iniziali di ST e TP perchè utilizzando la tecnica del WFA sappiamo che ottimizziamo sempre il TS periodicamente!
Per concludere, utilizzando la tecnica della WFA per ottimizzare un TS è sbagliato fare il classico backtest che guarda al passato su periodi più o meno lunghi!
Mi sono spiegato?

[umbertosm]

Supponiamo di avere 6 anni di dati storici ed un trading system che vogliamo ottimizzare.
Esistono fondamentalmente due logiche per ottimizzarlo, WFA o ottimizzazione sull'intero arco di dati storici.
In entrambi i casi si ottimizza cercando di massimizzare una funzione di fitness che può essere ad esempio il NetProfit/MaxDD, o il Profit Factor, qualsiasi altra formula composta.


Walk Forward Analysis: consiste nel verificare se un <<modello di ottimizzazione legato ad un trading system>> funziona quando si ottimizza periodicamente al mutare delle condizioni di mercato. Quindi ad esempio si ottimizza su IS = 3 anni e si verifica su OOS = 1 anno; si procede così per tre volte (avendo 6 anni di dati storici) e alla fine del procedimento si osserva il risultato: se il metodo di ottimizzazione delle variabili scelte funziona perché su OOS si ottengono prestazioni sempre positive, allora considero questa WFA un successo e faccio nuova ultima ottimizzazione con lo stesso modello usato per la WFA sugli ultimi 3 anni di dati storici; il setting individuato viene applicato all'EA da oggi per 1 anno in live sui dati futuri.


Ottimizzazione sull'intero arco di dati storici: consiste nella individuazione delle variabili ottimali che hanno dimostrato di performare meglio sui 6 anni storici. La logica è che la performance futura ha maggiori probabilità di guadagnare perché ha dimostrato di farlo per 6 anni passati.
Questo metodo non è in contrasto con la WFA, segue semplicemente una diversa logica.


Quale dei due metodi è più valido? Troverai trader che affermano di guadagnare con la WFA ed altri che affermano di guadagnare con l'ottimizzazione sull'intero arco di dati storici senza alcuna verifica su OOS.

[futuregain]

ok...utilizzando il software Walk Forward Analyzer per MT4 ottengo un "Walk Forward Efficiency Ratio: 0.69" è buono come valore?

[umbertosm]

si, come regola empirica, la letteratura sulla WFA afferma che un trading system è profittevole quando la WFE è maggiore del 50%, come scritto al primo post di questo thread.

[mico]

Cosa ne pensate di questo report?
WFA.pdf

[umbertosm]

i parametri della WFA sono sicuramente buoni, ma non comprendo come mai il takeprofit e lo stoploss abbiano valori così piccoli: take_profit = 7, stop_loss =3

Se sono davvero soltanto 7 pip o 3 pip, il numero è troppo piccolo perché il backtest / ottimizzazione abbia validità statistica,
in quanto l'elaborazione algoritmica di Metatrader4, detta fractal interpolation rende il backtest o ottimizzazione con questi valori così bassi totalmente privo di validità.

[mico]

No non sono pip, è il fattore moltiplicativo dell' ATR, es. take_profit = 7 vuol dire 7xATR.

[mk_ok]

Salve a tutti, sono nuovo del forum e mi ci sono imbattuto perche stavo cercando consigli e delucidazioni riguardo la WFA. Principalmente non trado valute, ma mi concentro soprattutto su futures obbligazionari e azionari ed utilizzo il software MultiCharts per effettuare ottimizzazioni. Ora a parte le premesse che poco contano, vorrei chiedere ad Umberto come capire bene la robustezza o meno di un trading system. Ho effettuato diverse ottimizzazioni in Walk Forward cambiando le finestre IS e OOS e rispettando tutti i paramteri (ossia 100 trades almeno per finestra IS, finestra OOS ampia il 25%-35% di IS...) ottengo una WFE superiore a 50% solamente in due ottimizzazioni su 5. E' ovvio che se dovessi usare in real money il TS ottimizzerei periodicamente sulla base di queste due ottimizzazioni che hanno WFE>50%, quello pero che voglio sapere è se in questo caso il TS è comunque utilizzabile o da buttare secondo te? CIoè il fatto che abbia buoni risultati solo su alcune combinazioni di IS-OOS lo rende comunque accettabile o deve avere WFE>50% sempre, o quasi?

[umbertosm]

(...)
Ho effettuato diverse ottimizzazioni in Walk Forward cambiando le finestre IS e OOS e rispettando tutti i paramteri (ossia 100 trades almeno per finestra IS, finestra OOS ampia il 25%-35% di IS...) ottengo una WFE superiore a 50% solamente in due ottimizzazioni su 5. E' ovvio che se dovessi usare in real money il TS ottimizzerei periodicamente sulla base di queste due ottimizzazioni che hanno WFE>50%, quello pero che voglio sapere è se in questo caso il TS è comunque utilizzabile o da buttare secondo te? CIoè il fatto che abbia buoni risultati solo su alcune combinazioni di IS-OOS lo rende comunque accettabile o deve avere WFE>50% sempre, o quasi?

ciao mk

Si, se una finestra temporale di IS-OOS all'interno della WFA ha determinato una WFE>50%, userai questa stessa combinazione per andare in reale.

Nel software StrategyQuant (=SQ), c'è una funzionalità molto potente ed originale inventata dallo sviluppatore del software Mark Fric, la WALK-FORWARD MATRIX che mira proprio ad individuare la combinazione ottimale di IS-OOS all'interno della WFA; SQ al termine dell'elaborazione ti dice se la WFA ha avuto successo e in caso positivo qual è la combinazione IS-OOS ottimale da usare e dopo quanti giorni/mesi è necessario riottimizzare periodicamente il trading system.

[mk_ok]

ciao mk

Si, se una finestra temporale di IS-OOS all'interno della WFA ha determinato una WFE>50%, userai questa stessa combinazione per andare in reale.

Nel software StrategyQuant (=SQ), c'è una funzionalità molto potente ed originale inventata dallo sviluppatore del software Mark Fric, la WALK-FORWARD MATRIX che mira proprio ad individuare la combinazione ottimale di IS-OOS all'interno della WFA; SQ al termine dell'elaborazione ti dice se la WFA ha avuto successo e in caso positivo qual è la combinazione IS-OOS ottimale da usare e dopo quanti giorni/mesi è necessario riottimizzare periodicamente il trading system.

Perfetto! grazie per la conferma!
Avevo letto della WF MAtrix, ma purtroppo il software che utilizzo non la mette a disposizione. Volevo chiederti un paio di chiarimenti:
- CHe intendi per WFA "ha avuto successo"? semplicemente WFE>50%?
- Se supponiamo facciamo su diverse finestre temporali IS e OOS (quindi simile a una matrice) 5-6 ottimizzazioni WF quante di queste secondo te devono avere successo perche il ts sia robusto? Ne basta una? o qualcosa di piu?

[umbertosm]

CHe intendi per WFA "ha avuto successo"? semplicemente WFE>50%?

Si se si usa la metrica individuata da Robert Pardo

Se supponiamo facciamo su diverse finestre temporali IS e OOS (quindi simile a una matrice) 5-6 ottimizzazioni WF quante di queste secondo te devono avere successo perche il ts sia robusto? Ne basta una? o qualcosa di piu?

La Walk-Forward Matrix di SQ richiede che ci siano più di una WFA di successo, con valori di IS-OOS vicini, ad esempio
IS = 1 anno OOS = 2 mesi,
IS = 1 anno OOS = 3 mesi,
IS = 1 anno OOS = 4 mesi.

e SQ sceglie come ottimale la seconda, quella di mezzo.

La WFMatrix usa come metrica di successo non la semplice WFE>50%, ma una combinazione di parametri di sintesi che il software mette a disposizione.

Se non si può usare la WFMatrix, si opera con buon senso usando la stessa logica, che ritengo ottima.