Walk Forward Analysis

[auato]

Contrariamente a quel che dice il sacro testo di Pardo le WFE secondo me non sono mai molto elevate.
Io ottimizzo e riottimizzo live da due anni ormai, coi backest sono sempre su un profit factor di 1,4 , live faccio i salti di gioia se arrivo a 1,15 .
Ma sono soddisfatto perchè i sistemi più longevi su myfxbook non passano 1,25 .
http://www.myfxbook.com/members/auto...vision/1489427

Grazie CavaliereVerde, il tuo post mi ha incoraggiato un po'. Anche io ho iniziato ad ottimizzare live ma senza più grandi aspettative considerando che sono sceso da 1,7 a 1,3.... anzi stando a quello che scrivi dovrei fare i salti di gioia.
Ad ogni modo tramite valutazione di WFE non riesco proprio proprio a "cavare un ragno dal buco"... Quella equity che mi hai mostrato si riferisce ad un sistema longevo?

[CavaliereVerde]

E' uno dei sistemi più longevi e che mi piacciono di più, comunque se controlli la mia firma ci sono anche i miei, ho dd elevati ma resisto.

https://www.darwinex.com/darwin/LVS.4.20

Questo è il fondo darwin che corrisponde al conto myfxbook, come vedi si tratta di professionisti con tanto di sito e socetà registrata.
e' un esempio, per me contano solo storici live e possibilmente pubblici e verificati.

[Freesby]

Contrariamente a quel che dice il sacro testo di Pardo le WFE secondo me non sono mai molto elevate.
Io ottimizzo e riottimizzo live da due anni ormai, coi backest sono sempre su un profit factor di 1,4 , live faccio i salti di gioia se arrivo a 1,15 .
Ma sono soddisfatto perchè i sistemi più longevi su myfxbook non passano 1,25 .
http://www.myfxbook.com/members/auto...vision/1489427

Grazie del post
E' un DD o un prelievo quella riga verso il basso da 47.000 a 19.000 ?

[CavaliereVerde]

Non vorrei dilungarmi su LongVision , è un esempio di cosa si può ottenere col vero trading, un riferimento per avere aspettative e obiettivi realistici.
Si parlava di WFE , il concetto è che non ce ne facciamo nulla di PF 1,7 che poi diventano 0,8 live.
Molto meglio un PF 1,3 che diventa 1,2 .
Io ad esempio non faccio WFA nei backtest ma riottimizzo ogni 6 mesi spostando in avanti la finestra di test, sostanzialmente una WFO live .
Non dico che il mio metodo sia ottimale ma per le mie strategie a quanto potete veder funzionicchia.
La mia idea è che non esiste un metodo di sviluppo ottimale per tutte le strategie, la WFA non è il Graal come non è il Graal fare test su storici di 20 anni.
Serve buon senso ed esperienza per trovare un metodo di sviluppo e di gestione per ogni strategia.

[MatteoP]

Ciao Matteo, e come valuteresti allora l’efficienza di una EA a seguito di WFA?

Ciao, credo che l'unico vero metodo sia metterla live e vedere se i risultati sono coerenti con le attese.

Durante la fase di sviluppo utilizzo alcuni sistemi per verificare che la WFA non abbia introdotto un bias indesiderato.
Utilizzare la WFA significa introdurre due nuovi parametri (non sono pochi) nella strategia: la durata del periodo di test OOS e la lunghezza del periodo di training. Li considero come se fossero due parametri ottimizzati e verifico che i risultati del TS siano accettabili anche modificando questi due valori.

Un esempio. Supponiamo che il TS è stato testato su un periodo OOS di 4 Mesi con un rapporto training del 90% (90% training e 10% Test OOS) vario il periodo OOS e lo ottimizzo (WFA) a 2,4,6,12 mesi. Rifaccio quindi gli stessi Test usando un rapporto di training 80%. Se tutte queste prove mi danno valori coerenti con la WFA iniziale, mi "convinco" che il mio TS non funziona solo con la WFA iniziale e quindi sia "solido".

In genere mi aspetto che allungando il periodo OOS e riducendo il rapporto di training le performance decadano, ma questo non è sempre così.

[MatteoP]

il concetto è che non ce ne facciamo nulla di PF 1,7 che poi diventano 0,8 live.
Molto meglio un PF 1,3 che diventa 1,2 .
.

Sante parole!

[umbertosm]

Si parlava di WFE , il concetto è che non ce ne facciamo nulla di PF 1,7 che poi diventano 0,8 live.
Molto meglio un PF 1,3 che diventa 1,2 .

Sante parole!

Col senno del poi tutti sono bravi. Certo che è meglio avere un reale di 1.2 invece di un 0.8

Il problema teorico irrisolvibile è che a priori non lo sai, e quindi se usi soltanto il profit factor come misura di previsione futura, è meglio un PF di 1.7 che un PF di 1.3

[MatteoP]

Credo che il Cavaliereverde (mi sento un po' ridicolo a chiamarlo così, ma poi rifletto che uso una piattaforma che si chiama Zorro ahahahah) ha parlato di PF perchè la WFE utilizza solo i profitti come elemento qualificante. Almeno io l'ho intesa così. Ed è stato l'inizio del mio post dove avanzavo il mio dubbio sul fatto che la WFE fosse un KPI farlocco

[CavaliereVerde]

Il punto è che la WFA è un ottimo concetto e molto educativo, ma lo scopo delle WFA dovrebbe essere evitare l'overfitting.
Se ci si fanno troppe seghe mentali (scusate il tecnicismo) col discorso dello step ideale o del rapporto ideale tra IS o OOS si ottiene esattamante l'opposto: altri parametri overfittabili.
La mia opinione è che una WFA aggiunge parecchia complessità al discorso e comunque non evita l'overfitting.
Credo quindi che spesso il gioco non valga la candela e che sistemi più semplici siano meglio gestibili e quindi più produttivi i reale.

[maurice]

Il punto è che la WFA è un ottimo concetto e molto educativo, ma lo scopo delle WFA dovrebbe essere evitare l'overfitting.
Se ci si fanno troppe seghe mentali (scusate il tecnicismo) col discorso dello step ideale o del rapporto ideale tra IS o OOS si ottiene esattamante l'opposto: altri parametri overfittabili.
La mia opinione è che una WFA aggiunge parecchia complessità al discorso e comunque non evita l'overfitting.
Credo quindi che spesso il gioco non valga la candela e che sistemi più semplici siano meglio gestibili e quindi più produttivi i reale.

Yess, parole "sante"..buon anno a tutti
KISS è il mantra, il resto è solo il resto.. ovvero tentativo di validare le previsioni fatte con i fondi del caffè
Concordo al 100% anche sull'ottimizzazione pseudo continua ed aggiungo da parte mia l' analisi WFA all'inverso, ovvero:
- testo siul periodo più recente (confidando a dita incrociate che sia più "descrittivo" dell'andamento corrente dei corsi..)
- valido all'indietro sul periodo precedente per vedere l'effetto che fà..
Bon, bomba sganciata, rientro alla base

[auato]

Credo che il Cavaliereverde (mi sento un po' ridicolo a chiamarlo così, ma poi rifletto che uso una piattaforma che si chiama Zorro ahahahah) ha parlato di PF perchè la WFE utilizza solo i profitti come elemento qualificante. Almeno io l'ho intesa così. Ed è stato l'inizio del mio post dove avanzavo il mio dubbio sul fatto che la WFE fosse un KPI farlocco

Perché infatti anche Pardo - correggetemi se sbaglio - non considera solo la WFE come unico KPI ma anche il DD in OOS minore del 150%, il numero di trades, e la % di trade vincenti sul numero totale di trades >50%. In effetti, secondo TRADESTATION che integra uno strumento di tipo PASS/FAIL per la WFA e che consiglia le stesse soglie definite da Pardo e riproposte da tutta la letteratura classica sulla WFA, se uno solo di questi KPI non è rispettato, la WFA non passa.
Figuriamoci.... io mi fermo già alla WFE che non passa.... eppure l'EA sembra reggere in orizzontale da quando l'ho messo "live" da un anno e mezzo circa.

Leggendo e rileggendo i vostri commenti avete tutti ragione ma il fatto è che nessuno di noi, credo, ha ancora la palla di vetro.

[CavaliereVerde]

auato
Il concetto è che non ci sono regole veramente valide universalmente, si fa presto a dire "cestina" ma le strategie buone non crescono sugli alberi. Se hai qualcosa che "regge" sei già molto avanti, non si butta nulla, come col maiale ci lavori di lima e aspetti per avere più dati.

[MatteoP]

Perché infatti anche Pardo - correggetemi se sbaglio - non considera solo la WFE come unico KPI ma anche il DD in OOS minore del 150%, il numero di trades, e la % di trade vincenti sul numero totale di trades >50%. In effetti, secondo TRADESTATION che integra uno strumento di tipo PASS/FAIL per la WFA e che consiglia le stesse soglie definite da Pardo e riproposte da tutta la letteratura classica sulla WFA, se uno solo di questi KPI non è rispettato, il test WFA non passa.
Figuriamoci.... io mi fermo già alla WFE che non mi passa.... eppure l'EA sembra reggere in orizzontale da quando l'ho messo "live" da un'anno e mezzo circa.

Leggendo e rileggendo i vostri commenti avete tutti ragione ma il fatto è che nessuno di noi, credo, ha ancora la palla di vetro.

Grazie, sono andato a rileggermi le parti dove Pardo parla della WFE, anche lui però parla genericamente di "ricerche dimostrano". Continuo ad avere dei dubbi sul fatto che ci siano queste ricerche.
Comunque anche per me non dovrebbe essere difficile calcolare la WFE e quindi la aggiungerò al cruscotto di valutazione del TS.

Ciao

[umbertosm]

Per me il Test Forward, prima ancora della sofisticata WFA che considera più cicli di test forward nel corso degli anni, rappresenta la miglior simulazione di quanto una ottimizzazione con il trading system sullo strumento finanziario scelto e timeframe, sia in grado di realizzare sui dati successivi all'ottimizzazione e ignoti all'ottimizzazione.

Quindi un Test Forward è la miglior prova che si può fare sulla robustezza del trading system e sul metodo di ottimizzazione, per verificare sui dati futuri la eventuale profittabilità del sistema EA + ottimizzazione.

E' qualcosa che per me andrebbe fatto sempre a prescindere dal Live.
Ad esempio, se ottimizzi 4 anni dal 2013 al 2016, poi fa un test forward sull'anno 2017 e il trading system perde, c'è sicuramente qualcosa che non va o nel trading system o nel metodo di ottimizzazione, o semplicemente nello strumento finanziario utilizzato o nel timeframe scelto.

Quindi se ho un Test Forward per il 2017 che va in negativo, per me è assolutamente inutile ottimizzare lo stesso EA con lo stesso metodo dal 2014 alla fine del 2017 per mettere live per il 2018 il trading system... e "vedere di nascosto l'effetto che fa" (citr. Jannacci) :05.wink_80_anim_gif

[auato]

Ciao a tutti, mi sapete indicare un link dove si spieghi perchè un TS con una WFE maggiore è più robusto di uno con WFE minore?
Non considero la WFE e ho dei dubbi sul fatto che abbia un qualche valore in quanto non elimina il problema più grande della wfa che è l'introduzione del bias statistico dovuto alla la scelta del periodo OOS e di quello IS, ma mi piacerebbe approfondire.
Grazie in anticipo

MatteoP penso e ripenso a questo tuo post e a questo termine “bias statistico”. Mi potresti spiegare in modo intuitivo cosa è questo bias statistico?

Questo forum mi ha arricchito tantissimo in breve tempo di nozioni sul trading automatico (ahimè non arricchito nel vero senso del termine altrimenti forse non sarei qui a chiedere pareri e arrovellarmi il cervello). Ero partito con tanto entusiasmo perché le mie EA avevano delle belle equity ma che in real trading si sono “orizzontalizzate” o addirittura degradate. Proprio come mostra Umberto nel primo post. È lì che i miei occhi si sono aperti. Ancora non ho pienamente interiorizzato questo concetto, il perché accade non mi è del tutto chiaro e vorrei approfondirlo perché è proprio quello che sta accadendo a me. Con la WFA non sono mai riuscito a capire come valutare la robustezza di una sistema... ne percepisco le potenzialità ma non riesco ad interpretare i risultati finali. Come sapete io uso Multicharts che offre anche risultati grafici 3D per valutare la stabilità dell’area di lavoro. È forse tramite i grafici 3D che posso sostituire in parte la WFA?
E poi vorrei fare molte più simulazioni per irrobustire i miei sistemi o per migliorarli ma le mie EA hanno dalle 4 alle 8/9 variabili ed io lavoro su TF inferiori al giornaliero su uno storico che può arrivare anche a 7 anni. Questo significa inevitabilmente simulazioni lunghe che arrivano ad impegnare il mio carrozzato PC (core i7 con buona memoria Ram e dischi SSD) anche per giorni e settimane. Tutto questo è un po’ scoraggiante e finora non sono riuscito a metter su qualcosa di buono. Forse sono i miei sistemi che non sono all’altezza sebbene uno delle mie EA in live da un anno e mezzo ha solo “orizzontalizzato” l’equity e CavaliereVerde, se ho ben intuito, forse non lo butterebbe via. Tuttavia sono alla frutta e non ho altre idee al momento..tutto va male, sono diventato pessimista, sto perdendo soldi e fiducia e sto pensando di abbandonare anche il trading automatico. Avete qualche sito di risorse da cui attingere idee per creare nuovi sistemi? Avete qualche parere in generale su tutta questa faccenda? Grazie a tutti ciao