VALUTAZIONE di Trading System in EXCEL: AverageTrade, Prof Factor, Ulcer index, StDev

[MatteoP]

Ciao Maurizio,
sì, hai ragione, ci sono delle tecniche per verificare la probabilità di overfitting. Gli sviluppatori della mia piattaforma ci stanno lavorando. Non ho ancora approfondito. Felice che in SQ lo abbiano già affrontato. Se ti va di dirci come...

[sergiot]

... quindi una ottimizzazione su 6 mesi per M15, 10 mesi per M30 e 1 anno e 2 mesi per H1 e poi subito in LIVE con il setting ottimizzato.

Ciao Umberto,
per prima cosa complimenti per la tua strategia.
Ho 3 domande da porti leggendo il post #39:
1) I tempi indicati sull'ottimizzazione è stata scelta basandoti sulla tua esperienza o dal tipo di EA che hai sviluppato?
2) Quando prevedi di effettuare una nuova ottimizzazione?(Aspetti risultati negativi dell'EA o anticipi la frequenza ad un tempo in base all'esperienza?)
3) i risultati ottenuti nella tabella di Quant Analyzer sono stati effettuali con lotti medi di 0.1?

[umbertosm]

Ho 3 domande da porti leggendo il post #39:
1) I tempi indicati sull'ottimizzazione è stata scelta basandoti sulla tua esperienza o dal tipo di EA che hai sviluppato?
2) Quando prevedi di effettuare una nuova ottimizzazione?(Aspetti risultati negativi dell'EA o anticipi la frequenza ad un tempo in base all'esperienza?)
3) i risultati ottenuti nella tabella di Quant Analyzer sono stati effettuali con lotti medi di 0.1?

1) SI, i tempi li ho scelti io, sulla base della mia esperienza, in pratica la logica che sta dietro è: numero elevato di candele di quel timeframe e sufficiente numero di mesi per coprire un buon numero di dinamiche di mercato, e non troppo a lungo perché ogni ottimizzazione andrà in live per circa il 20% del tempo di ottimizzazione, quindi
M15: 6 mesi
M30: 10 mesi
H1: 14 mesi

2) In live circa 1/5 del tempo dell'ottimizzazione, quindi in live prima di riottimizzare: 1 mese e mezzo per M15, 2 mesi per M30, 3 mesi per H1

3) Gli EA sono stati ottimizzati con microlotto fisso, ma alla fine come ultima ottimizzazione ricerco il setting ottimale per il position sizing (lotto variabile 0.2, 0.6) legato all'analisi grafica (posizione considerata con maggiore o minore probabilità di successo), perciò la correlazione è fatta sui risultati dei 15 EA in live, che hanno lotti variabili di due tipi.


Infine è importante sottolineare che questo EA, essendo basato su dinamiche psicologiche di grandi numeri di trader (è un EA reversal basato su pattern grafici e trendline da rompere) permette questa ottimizzazione, perché ogni trade ha elevate probabilità di successo.

Diverso sarebbe stato il caso di un EA costruito con la programmazione genetica di condizioni di trading (ad esempo usando StrategyQuant): in questo caso non c'è alcuna dinamica psicologica sottostante e l'EA avrebbe sicuramente bisogno di una fase di validazione con la walk forward analysis, altrimenti l'ottimizzazione avrebbe una elevatissima probabilità di overfitting sui dati storici.

[Cray]

OTT.png

Ciao Maurizio,
sì, hai ragione, ci sono delle tecniche per verificare la probabilità di overfitting. Gli sviluppatori della mia piattaforma ci stanno lavorando. Non ho ancora approfondito. Felice che in SQ lo abbiano già affrontato. Se ti va di dirci come...

Si, oltre ad alcuni test di robustezza da superare in Multi-Cross e Timeframe , esiste una specifica funzione che permette di vedere se la strategia è ottimizzabile o in overfitted .
Praticamente, nel caso di una doppia linea dell'equity come nel caso evidenziato sul grafico ( Linea Blu, SOPRA, ma non sotto alla linea grigia o in pareggio ) è un segnale di un possibile miglioramento in una strategia non ancora overfittata . Diverso, sarebbe stato nei due casi contrari ... Come dire, che in bicchieri colmi di acqua è ancora possibile, aggiungere dell'altra acqua !!!

[Cray]

Un buon sistema che ritengo molto valido per allontanare il più possibile i rischi di trovare dei sistemi overfittati , è di creare delle strategie non complesse, ma robuste con il vantaggio di avere maggiori probabilità di successo nel passare i test successivi ... Ma questo è un altro discorso che ci porterebbe fuori dal thread originario :12.fingerscrossed_8

Allego i valori di " COMPLEXITY " che uso in fase di ricerca e sviluppo nei miei sistemi :99.gift_80_anim_gif

Valori fino a 10 Strategie che non prendo in considerazione :
Valori da 11 a 12 Strategie,troppo deboli da controllare con attenzione ;
Valori da 13 a 18 Eccellenti, strategie con regole semplici ( Quelle che preferisco nelle mie ricerche ) :
Valori da 19 a 25 Ottime, strategie medie con regole generali più complesse ;
Valori da 26 a 30 Buone, ma di complessità maggiore da guardare con più attenzione ( Non vado oltre 30 )
Valori da 30 a 35 Qualcuno le sceglie spingendosi anche , oltre...

Un altro vantaggio delle strategie con bassa Complexity è che si possono migliorare con " Improve " aumentando di poco tali valori :47.nod_80_anim_gif:

NOTA : Il valore di fitness è indicativo per me sul TFH1 da 50 a 60 ... Mentre, i valori della Complexity sono validi in tutti i TF che utilizzo.

:04.cool_80_anim_gif FICO.png

[Cray]

Ciao Maurizio,
sì, hai ragione, ci sono delle tecniche per verificare la probabilità di overfitting. Gli sviluppatori della mia piattaforma ci stanno lavorando. Non ho ancora approfondito. Felice che in SQ lo abbiano già affrontato. Se ti va di dirci come...

Per mia curiosità che piattaforma stai usando, Matteo ? :28.nerd_80_anim_gif

[MatteoP]

http://zorro-project.com/
Dopo averla provata a lungo l'ho acquistata. Mi piace perchè è una piattaforma di sviluppo e basta. E' gratuita e senza limitazioni nelle funzionalità (solo nel sizing del conto real gestito) è, tra quelle che ho provato la più veloce, nel training/testing. Ha un linguaggio che permette di scrivere codice molto compatto. Indipendente dal Broker, Dedicata esclusivamente al trading automatico multi-asset e mult-algo. Splendido tutorial per chi inizia che unisce elementi di programmazione e di trading. Anche in questo caso old style: apri il manual e leggi

I contro sono una community ridotta anche se composta da persone competenti. Tool di sviluppo e debugging del codice old-style. Pessimo nome, secondo me si giocano 3 trader su 4 per averla chiamata in questo modo. Basso appeal per chi si avvicina al trading e alla programmazione per la prima volta.

[umbertosm]

Un caro amico che fa trading sui futures, con particolare propensione al DAX :01.smile_80_anim_gi mi ha inviato la simulazione di trade fatti manualmente su diversi range temporali per diverse strategie da lui ideate.

Di seguito la valutazione di queste strategie singole e del portafoglio che le considera tutte assieme.


Le strategie sono 4:
- Top15,
- La Molla,
- Sistema Apertura DAX
- e le due strategie R e T già analizzate qualche post fa che nell'insieme formano una unica Strategia Oraria sul Dax

L'individuazione dei singoli trade ha richiesto ore ed ore di simulazione manuale sulle barre storiche al timeframe temporale analizzato!


°°°°°°°°°°°°°°°°°°°°°°°°

TOP 15
è un sistema sul Dax, Time frame 15 secondi, da febbraio 2014 a gennaio 2016

Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: poco sotto il valore di soglia minima di 1,5 :015.WAsmile:

Ulcer index: valore basso, indica che tra profondità del drawdown e il tempo impiegato per chiuderlo, un basso rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :012.WAsmile:

Average Trade / Deviazione standard: sotto il valore di soglia per considerare sufficientemente tradabile la strategia: una volatilità dei rendimenti eccessiva :013.WAsmile:

max stagnazione in trade: 27, cioè il drawdown più lungo ha impiegato 27 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line.






°°°°°°°°°°°°°°°°°°°°°°°°

LA MOLLA
è un sistema sul Dax, Time frame 1 minuto, da gennaio 2015 a gennaio 2016

Average trade sufficientemente elevato, superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: superiore alla soglia minima di 1,5 :012.WAsmile:

Ulcer index: valore basso, indica che tra profondità del drawdown e il tempo impiegato per chiuderlo, un basso rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :012.WAsmile:

Average Trade / Deviazione standard: sopra il valore di soglia per considerare sufficientemente tradabile la strategia: una gestibile volatilità dei rendimenti :012.WAsmile:

max stagnazione in trade: 19, cioè il drawdown più lungo ha impiegato 19 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line.







°°°°°°°°°°°°°°°°°°°°°°°°

APERTURA DAX
è un sistema sul Dax, Time frame 1 minuto (il set up può crearsi solo dalle 9:00 alle 9:21), da gennaio 2013 a gennaio 2016


Average trade sufficientemente elevato, molto superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: superiore alla soglia minima di 1,5 :012.WAsmile:

Ulcer index: valore basso, indica che tra profondità del drawdown e il tempo impiegato per chiuderlo, un basso rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :012.WAsmile:

Average Trade / Deviazione standard: sopra il valore di soglia per considerare sufficientemente tradabile la strategia: una gestibile volatilità dei rendimenti :012.WAsmile:

max stagnazione in trade: 19, cioè il drawdown più lungo ha impiegato 19 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line.

°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°° °°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°
°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°° °°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°°

E infine qui di seguito il portafoglio delle 4 strategie, considerando tutti i 1233 trade, somma dei trade delle 4 strategie, in un unico portafoglio con i trade in sequenza temporale.

Range temporale da gennaio 2012 a gennaio 2016

Average trade sufficientemente elevato, molto superiore allo slippage medio: :012.WAsmile:
Net Profit / MaxDD: elevato, di molto superiore a 3 :012.WAsmile:
Profit factor: superiore alla soglia minima di 1,5 :012.WAsmile:

Ulcer index: mediamente basso, indica che tra profondità del drawdown e il tempo impiegato per chiuderlo, un basso rischio psicofisico di farsi venire un'ulcera in caso di drawdown con soldi in reale :012.WAsmile:

Average Trade / Deviazione standard: sul valore di soglia per considerare sufficientemente tradabile la strategia: una gestibile volatilità dei rendimenti :012.WAsmile:

max stagnazione in trade: 41, cioè il drawdown più lungo ha impiegato 41 successivi trade, prima di recuperare la perdita e fare un nuovo massimo della equity line.


CONCLUSIONE: il portafoglio delle 4 strategie -se realmente ciascun sistema è oggettivamente automatizzabile e se un backtest con i trading system confermasse la bontà dei backtest realizzati manualmente ad occhio sui grafici- dimostra che le 4 logiche di strategia di trading nel loro insieme sono in grado di realizzare utili molto elevati, a fronte di un drawdown forse un po' difficile da gestire, ma sicuramente migliorabile da una ottimizzazione delle strategie rese automatiche.

[Rob]

il file in excel è stato rimosso?

[umbertosm]

I file excel li trovi scaricabili in fondo al primo ed al sesto post di questo thread

[Roby]

Scusami ho dimenticato di allegare l' immagine dei risultati di EA Analyzer.
Eccola.

non capisco però qui come viene calcolato AVERAGE TRADE

[umbertosm]

ciao Roby, si l'average trade di StrategyQuant o del Quant Analizer creati dalla mente di Marc Frick... NON è il valore che tutti noi conosciamo...

questo è uno dei vari bug di SQ.

La variabile che SQ o QA usa per il corretto average trade = il valor medio dei trade è Expectancy (da NON confondere con R-Expectancy)

La variabile average trade di SQ o QA è la somma del valor medio dei trade vincenti più il valore assoluto del valor medio dei trade perdenti: una misura totalmente inutile!

[Roby]

Grazie......dell'informazione.....avevo capito la questione dell' Expectancy ma non capivo questo benedetto average trade come veniva calcolato......dove hai trovato la fonte delle info?

[umbertosm]

Ho fatto quello che andava fatto e che non fa mai nessuno: ho fatto un backtest di 20 trade, ho esportato i trade in excel ed ho verificato per tentativi come veniva calcolato l'assurdo 'average trade' inventato da Mark Frick.
Ed ho scoperto che il valore corretto del valor medio dei trade è l'Expectancy.

[Roby]

ma allora anche Average Win e Average loss di SQ e ....sono sbagliati....
....no ho controllato....sono giusti