VALUTAZIONE di Trading System in EXCEL: AverageTrade, Prof Factor, Ulcer index, StDev

[umbertosm]

L'oversampling non l'ho mai considerato uno strumento utile: è un collage di ritagli di dati storici, una sorta di patchworking, per inventarsi dinamiche di prezzo distorte, che nel caso migliore sono una ripetizione di quelle già testate e nel caso peggiore sono fasi di mercato inventate e non rispondenti alla reale dinamica del mercato dello strumento finanziario che si sta studiando.
Questa pratica si usa quando si hanno a disposizione pochi dati storici, in maniera tale da poter avere una numerosità sufficiente per poter trarre conclusioni...
ma se il proprio trading system realizza pochi trade... si cambi il trading system o si aumenti il range di dati storici per avere le effettive dinamiche del mercato.

E' un po' come se uno deve valutare la bontà dei cibi in generale e si hanno a disposizione soltanto "patate": ti cucini le patate al forno, le patate al cartoccio, le patate arrosto, le patate bollite: le assaggi e dai un giudizio... ma sempre e solo patate sono, non sono certo rappresentative del cibo in generale!

La teoria che squalifica i dati IS è una tua opinione,
- se i dati OOS sono sicuramente fondamentali per capire se si è fatto overfitting sui dati IS,
- l'analisi dei dati IS e le statistiche che se ne possono trarre, sono un faro fondamentale per capire quanto delle dinamiche di mercato dello strumento finanziario sono individuabili dal proprio trading system.

[MatteoP]

L'oversampling, non si usa quando si hanno a disposizione pochi dati storici, ma quando il TS genera poche trade nel periodo di test (il periodo di test è sempre definito dal trader).
Per seguire la tua metafora non è come cucinare patate in modo diverso, ma come cuocere patate di dimensioni un po' diverse in forni diversi per individuare il tempo di cottura ideale che permetta di avere il mglior compromesso per patate di dimensioni paragonabili, ma non uguali.

Per quanto riguarda l'inutilità dei backtest IS non è una mia opinione, è dimostrato che non forniscono alcuna informazione utile a prevedere come il TS si comporterà OOS. Quando prendiamo un TS e lo testiamo OOS otteniamo le prime informazioni utili.

La prova è semplice prendere un TS a piacere, fare il backtest che venga bello profittevole, (niente griglie o martingale pls) e poi fare una WFA dello stesso TS anche su solo 4-5 cicli. comporre e confrontare i risultati.... Con MT4 ci si mette un pò. L'ho fatto su poco meno di una decina di TS semplici perché, come te, non ci credevo, poi ho desistito.

Non esisono equity curve nel mondo reale che lontanamente si avvicinano a quelle mostrate nei post precedenti, sopratutto su un solo strumento. Sono solo il frutto di oversampling.

my 2 cents

[umbertosm]

L'oversampling, non si usa quando si hanno a disposizione pochi dati storici, ma quando il TS genera poche trade nel periodo di test (il periodo di test è sempre definito dal trader).
Per seguire la tua metafora non è come cucinare patate in modo diverso, ma come cuocere patate di dimensioni un po' diverse in forni diversi per individuare il tempo di cottura ideale che permetta di avere il mglior compromesso per patate di dimensioni paragonabili, ma non uguali.

Appunto, sempre di patate si tratta, il tuo trading system sarà ottimale per le poche fasi di mercato dei dati storici che utilizzi, anche se hai testato il tutto con il patchworking dell'oversampling...
Se lo scopo dell'EA è testare la sua profittabilità su tutte le fasi di mercato dello strumento finanziario, che metaforicamente significa decidere il gusto migliore tra tutti i cibi in generale,
testare le sole patate non rispecchia tutte le dinamiche di gusto del cibo in generale, cosa che si può fare soltanto aumentando il range di dati storici.

Per quanto riguarda l'inutilità dei backtest IS non è una mia opinione, è dimostrato che non forniscono alcuna informazione utile a prevedere come il TS si comporterà OOS. Quando prendiamo un TS e lo testiamo OOS otteniamo le prime informazioni utili.

Anche io anni fa credevo a questo discorso di squalificare i backtest sui dati IS... poi l'esperienza degli anni successivi mi ha fatto provare sul campo che se si realizza un EA basato sul comportamento di un trader manuale, quindi legato ai ragionamenti psicologici che fanno i trader, ottimizzare l'EA soltanto sui dati IS può essere sufficiente, anche senza prove OOS.
Diverso è il caso di trading system realizzati con strumenti di programmazione genetica, come ad esempio StrategyQuant o Adaptrade Builder o Trading System Lab: in questi casi il backtest IS non ha alcuna valenza SE non è supportato dalla performance sui dati OOS, questo perché non c'è un ragionamento psicologico dietro alla creazione dell'EA, ma solo ricerca casuale degli ingredienti migliori sui dati IS e quindi l'overfitting è sempre in agguato.

Ad esempio, io ottengo performance di tutto rispetto solo ottimizzando l'EA su dati IS senza neanche controllare l'andamento sui dati OOS: ho un EA così ben costruito sulle dinamiche di prezzo, che non fa overfitting, e in live va benissimo, pur non raggiungendo le performance di quando gira sui dati IS.
L'EA funziona così bene che lo ottimizzo M15 e M30 su innumerevoli coppie di valute (alla fine ho tanti EA identici ma ciascuno con un diverso setting) e non perdo neanche tempo a provarlo sui dati OOS: tutti questi EA vanno in live in un unico portafoglio e la curva sale che è un piacere.
A brevissimo posto il backtest LIVE di questi miei EA come unico portafoglio di tanti diversi setting dello stesso EA su diverse coppie di valute e timeframe.

[MatteoP]

ok, innanzi tutto complimenti per il tuo TS. Che dire chapeau!

Però quello che dici non invalida quello che sostengo, è solo un caso particolare. Il tuo EA è profittevole live, quindi è profittevole OOS e lo è anche IS, ovviamente.
Questo è il punto. Il fatto che un EA sia profittevole IS non è una condizione sufficiente perché sia profittevole OOS, ma è necessaria. Al contrario, anzi, per costruzione, un EA profittevole OOS sarà profittevole IS. Quindi se costruisci un TS profittevole OOS sai che lo sarà IS, non il viceversa.

Non voglio arroccarmi sulle mie convinzioni. Sono qui per confrontarmi, ma non ho mai trovato un TS che perde IS e funziona OOS a parità di condizioni.

[AndreaTrade]

Scusate se ripropongo una domanda che ho già fatto ma non mi sembra di aver trovato la risposta al quesito ( ma è probabile anche che mi sbagli ) :

Se utilizzando qualche strumento di analisi ( tipo StrategyQuant ) scopro che eliminando alcune fasce orarie il profict factor aumenta
considerevolmente stò facendo overfitting ? O meglio : correggendo il TS e selezionando determinate fasce orarie stò realmente migliorando il mio EA o sto' prendendo una cantonata?

Grazie, Andrea

[MatteoP]

Ciao Andrea,
per quello che so purtroppo l'overfitting non si può misurare. Quindi non è possibile darti una risposta univoca, In letteratura i trader usano questa regola per evitare l'overfitting.Almeno 20 trade per ogni parametro del TS nel periodo di test. DI più non so...

[umbertosm]

Se utilizzando qualche strumento di analisi ( tipo StrategyQuant ) scopro che eliminando alcune fasce orarie il profict factor aumenta
considerevolmente stò facendo overfitting ? O meglio : correggendo il TS e selezionando determinate fasce orarie stò realmente migliorando il mio EA o sto' prendendo una cantonata?

Per me non stai facendo overfitting, ma è fondamentale che fai questa ottimizzazione sui dati storici che hanno lo stesso fuso orario del broker su cui farai girare l'EA ottimizzato su fasce orarie.

Quindi se usi ad esempio un broker con fuso orario UTC+2 , esporterai i dati storici da Dukascopy con questo offset.

Per inciso... io uso l'ottimizzazione su fasce orarie e funziona :014.WAsmile:

[AndreaTrade]

Grazie a tutti x le risposte .

[umbertosm]

Ecco un portafoglio di 15 EA e di come hanno performato IN LIVE nel mese di gennaio 2016, da capodanno a ieri sera :01.smile_80_anim_gi

Si tratta dello stesso trading system (quindi stesso codice) ottimizzato sulle diverse coppie di valute e timeframe,

SENZA alcuna verifica di WFA o di semplice IS-OOS... quindi una ottimizzazione su 6 mesi per M15, 10 mesi per M30 e 1 anno e 2 mesi per H1 e poi subito in LIVE con il setting ottimizzato.
.

timeframe	valuta	variante
AUDUSD	M15	rcsq
AUDUSD	M30	co
AUDUSD	M30	rcsq
EURUSD	M30	rcsq
GBPJPY	H1	rc
GBPUSD	H1	co
GBPUSD	M30	co
NZDUSD	H1	cosq
NZDUSD	M30	rc
USDCAD	M15	rcsq
USDCAD	M30	co
USDCAD	M30	rcsq
USDJPY	M15	cosq
USDJPY	M15	rcsq
USDJPY	M30	rcsq

.


Utilizzando Quant Analyzer, li ho considerati separatamente e come portafoglio.

Gli expert advisor guadagnano in 12 su 15 e il portafoglio presenta un ottimo profit factor di 1.72





L'analisi della correlazione tra i diversi EA che ho scelto di fare è
Correlation of Profit/Loss : Profit/Loss - a sum of profit or loss for all the trades closed at a given period
per ogni giorno viene fatta la somma del profit/Loss di tutti i trade CHIUSI dalla str1
e la somma del profit/Loss di tutti i trade CHIUSI dalla str2
poi per ogni giorno viene fatta la correlazione tra le somme giornaliere di str1 e le somme giornaliere di str2

Il risultato mostra che gli EA sono nell'insieme sufficientemente scorrelati




Infine ho importato tutti i 168 trade del portafoglio in Excel e li ho elaborati per ottenere il risultato della prestazione IN LIVE

Naturalmente i parametri di sintesi IN LIVE sono meno belli di quelli che si erano ottenuti nella ottimizzazione per la ricerca dei 15 setting dei 15 EA,

ma direi che, nonostante il drawdown evidenzi che bisogna lavorare ancora per migliorare l'EA, nell'insieme la prestazione è molto buona.






.

[Cray]

Matteo, in StrategyQuant si può fare un test alle strategie trovate per vedere se sono a rischio di overfitting ...

[Cray]

@Umberto : Interessante, questo tuo risultato di portafoglio partendo da una singola strategia :39.clapping_80_anim veramente originale !!! Non vedo l'ora di sbloccare nei prossimi giorni la versione Trial del QA per esplorare tutte le funzioni .

Qualcuno, sta utilizando il QA nelle funzioni di portfolio :45.happy_80_anim_gi più avanzate per scambiarci magari, con la collaborazione di Umberto, le sue potenzialità di utilizzo con il software di SQ che conosco? :04.cool_80_anim_gif

Vediamo a chi può interessare questa idea!

[Cray]

Leggendo e rileggendo il messaggio N°39 di Umberto, mi sto convincendo con l'altra mia osservazione riscontrata in SQ è commentata, in privato ... Delle maggiori probabilità di trovare delle strategie più performanti a sentire la variabile del " Rumore " al pari dei backtesting su dati storici passati e OOS .

Per mia curiosità Umberto, mi sai dire che valore aveva di " Complexity " la tua strategia originale prima di ottimizzarla?
Dalle mie osservazioni : Sembra, che le str con i valori più contenuti di compl sono quelle più candidate a tale fenomeno ...:47.nod_80_anim_gif:

[umbertosm]

Per mia curiosità Umberto, mi sai dire che valore aveva di " Complexity " la tua strategia originale prima di ottimizzarla?
Dalle mie osservazioni : Sembra, che le str con i valori più contenuti di compl sono quelle più candidate a tale fenomeno

Maurizio, la strategia NON è stata creata con SQ (che non uso da qualche mese) ma è una expert advisor creato scrivendo il codice sorgente da zero, allo scopo di replicare una metodologia di trading manuale con pattern grafici e trendline con pendenza ottimizzabile, quindi una logica non replicabile in alcun modo con SQ.

[Cray]

Ok! Umberto, tutto chiaro :51.yes_80_anim_gif:

[Cray]

In teoria, il procedimento si potrebbe replicare anche in SQ una volta trovata la strategia ... :23.itwasntme_80_ani Ma Adesso, sono impegnato in altri test ...