OOS è utile?

[Roby]

A propositodi IS e OOS...mi sta venendo qualche dubbio sull`utilita` di OOS.
In SQ per esempio se prendo un IS 1.1.2010 - 1.9.2010 e OOS 1.9.2010 - 1.12.2010 trovero` strategie che vanno "bene" in IIS e scartero` quelle che vanno "male" in OOS prendendo anche qui le migliori.
Non trovo nessuna differenza nell`usare IS 1.1.2010 - 1.12.2010 dove le migliori strategie avranno comunque un valore buono nel periodo 1.9.2010 - 1.12.2010. rendendo superfluo usare OOS.
Mi sembra quindi scorretto pensare che analizzando OOS si possa vedere se le str sono robuste e profittevoli nel tempo.
Umberto mi sto perdendo qualcosa?

[umbertosm]

se l'arco temporale dei IIS è sufficientemente grande, almeno 4 anni per individuare tutte le fasi di mercato dello strumento finanziario in esame,
allora il successivo OOS di 1 anno è in genere sufficiente per sapere se la strategia e la logica di ottimizzazione è in grado di performare bene nel futuro.
L'argomento è ampio, IIS-OOS o meglio la WFA l'ho dettagliata qui:
http://www.forexdream.net/forum/trad...rward-analysis

[Roby]

Non parlo di Wfa, ma della prima selezione di str che si fa con SQ...quando si eliminano le str che in OOS hanno valori negativi.
Se trovi strategie nei 4 anni (IS) che sono profittevoli anche in OOS (1 anno)...le selezioni per gli altri test del caso ( Montecarlo, Wfa ecc.).
Ma se selezioni un IS di 5 anni senza OOS le strategie che hai selezionato prima le puoi potenzialmente trovare anche qui.
In pratica scegliendo in OOS cio` che va ,stiamo gia` iniziando ad overfittare.
Ho come la netta sensazione che questa storia dell` OOS sia un`altra di quelle cose per depistare che ci hanno messo in testa per non ragionare con la nostra testa.
Un po` come quella cosa del segnale e del rumore che aumenterebbe con i timeframe bassi. Mai nessuno che abbia quantificato rumore e segnale ecc. ...ma suona bene ...ehehehe ,ma questa e` un`altra storia.

[umbertosm]

Non sono d'accordo e spiego perché.

La logica di ottimizzare su IS e poi verificare su OOS serve per capire se
- l'EA ha le potenzialità per guadagnare su dati OOS ignoti perché NON oggetto di ottimizzazione,
- la logica di ottimizzazione con la scelta delle variabili ed il range di ricerca dei valori è corretto per individuare un setting vincente su dati OOS

Quindi se l'EA guadagna anche su OOS l'EA ha un minimo di garanzia che possa farlo anche in reale.

Se invece ottimizzi su dati IS+OOS non hai nessuna prova che l'EA sia in grado di performare su dati ignoti all'ottimizzazione.

Il valore aggiunto della verifica OOS sta tutta qui... e non è poco!

[MatteoP]

... Un po` come quella cosa del segnale e del rumore che aumenterebbe con i timeframe bassi. Mai nessuno che abbia quantificato rumore e segnale ecc. ...ma suona bene ...ehehehe ,ma questa e` un`altra storia.

Una bella analisi del rapporto "segnale/rumore" la puoi trovare qui con tanto di numeri codice e metodo. A me ha chiarito le idee http://www.financial-hacker.com/is-scalping-irrational/

Ciao

[umbertosm]

Articolo bellissimo :39.clapping_80_anim

il modo in cui Johann Christian Lotter calcola l'entropia è geniale :06.surprised_80_ani

ed è davvero interessante la sua scoperta che la Shannon Entropy scende per i timeframe superiori ad H1 ed inferiori i 10 minuti! :51.yes_80_anim_gif:

...anche se poi osserva come lo scalping difficilmente può essere sfruttato by retail traders due to the high costs of short term trades.

[Roby]

"Se invece ottimizzi su dati IS+OOS non hai nessuna prova che l'EA sia in grado di performare su dati ignoti all'ottimizzazione."

Se è per questo nemmeno dopo la scelta delle buone in OOS ho la certezza che in un secondo OOS le str possano performare.
In realtà quando si scema dal OOS si sta già overfittando ...e Unger é dello stesso parere.
Dovremo invece trovare quelle "leggi" ,quelle caratteristiche in IS che ci permettano con una buona valenza statistica di avere buoni risultati in oos ex ante e non ex post.

[umbertosm]

La certezza nel trading non esiste, ma la probabilità statistica dell'OOS performante è un valore aggiunto.

Andrea Unger, che sto seguendo nei suoi corsi a pagamento non squalifica assolutamente il valore della verifica sui dati OOS, semplicemente lui adotta un altro metodo: come dettaglia in alcuni post del suo forum, la fase OOS lui la fa eccome, sono i 2 mesi in demo live successivi alla sua ottimizzazione sugli anni storici. Dopodiché decide se usare il live REALE il trading system ottimizzato.

[Roby]

Umberto sono in ferie. ..pertanto non ho materiale qui ma quando torno ti posto la sua affermazione sul OOS. ...Si può postare un file audio?

[umbertosm]

Se l'audio è del corso non si può.

[MatteoP]

Ricordo anche io un'uscita di Unger sui test IS/OOS. Ricordo però che la frase era circostanziata e diceva che anche scegliere la proporzione tra dati IS e OOS è anch'essa un parametro che alcuni variano al fine di ottenere un risultato positivo. Di fatto si aumenta il pericolo di overfitting andando a "ottimizzare" il rapporto IS/OOS. Credo che sia una riflessione condivisibile, ma il test di un TS su dati OOS rimane il primo (non l'unico) test da fare per verificare la robustezza di un TS.

[Roby]

Ok. ...grazie Matteo anche per il link che mi ero già sciroppate tutto visti gli argomenti così interessanti.
La mia ricerca in materia di no OOS prosegue e devo dire che ho iniziato a trovare str che da IS opportunamente "lavorato" mi lavorano in OOS successivi lunghi anche 5 anni. ...senza ovviamente che abbia potuto scegliere le str in base ai risultati e senza riottimizzazione. So lavorando in D1....appena avrò una finestra di risultati più ampia posterò qualcosa.

[umbertosm]

Io non uso la verifica sui dati OOS per scartare un setting, ed andare a tentoni a cercare altri setting.
Io semplicemente
- ottimizzo su IS scegliendo le variabili che ritengo siano quelle che più rispondono alle dinamiche di mercato
- e poi dopo aver individuato il setting sulla base di una mia funzione obiettivo customizzata, verifico se questa logica di ricerca è vincente su OOS... se non lo è, io butto via la logica di ottimizzazione usata, quindi NON vado a cercare altri setting con lo stesso metodo sperando che performino su OOS, perché questo sarebbe un ridicolo evidente overfitting.

Se su OOS va male, cambio proprio le variabili oggetto di ottimizzazione, oppure estendo il range di valori delle variabili alla ricerca di nuovi setting che massimizzino la mia funzione di fitness e poi verifico la performance su OOS.
Se quindi, dopo aver cambiato gli ingredienti del minestrone per un massimo di 3 volte non ottengo una OOS soddisfacente... o butto via l'EA, oppure introduco nuovi filtri all'EA, cioè cambio la logica di funzionamento dell'EA e ricomincio da capo.


Se invece con una logica di ottimizzazione su IS ottengo OOS vincenti, verifico se questa logica di ottimizzazione funziona anche su altre coppie di valute: se funziona, allora mi ritengo parzialmente soddisfatto e passo alla verifica finale: metto in demo LIVE l'EA su 3 o 4 coppie di valute, ciascuno con un suo setting ottimizzato con la stessa logica e le lascio andare per un paio di mesi.
Se anche questa verifica va a buon fine, considero la logica di ottimizzazione e la strategia dell'EA un pacchetto vincente.

[MatteoP]

il rapporto tra dati OOS e IS è un parametro della strategia alla stregua del periodo di una media mobile. Che sia 10%, 20% o 0% sempre parametro è... Non esiste modo di ovviare a questo, ma se ne può valutare l'impatto e ottenere indicazioni sulla robustezza della strategia.
Un esempio: parto con un rapporto 20% (4 mesi OOS e 20 Mesi IS) se ottengo risultati positivi posso verificare se ottengo risultati positivi con 10% o il 30%. Se così fosse saprò che la strategia più robusta di un'altra le cui performance decadono più rapidamente al di fuori del rapporto OOS/IS prescelto. Per questo credo che testare i dati OOS sia sempre opportuno. Avremo sempre più info. La cosa si amplifica nel caso di una vera e proprio WFA.

my 2 cents

[Cesaforex]

....

Se invece con una logica di ottimizzazione su IS ottengo OOS vincenti, verifico se questa logica di ottimizzazione funziona anche su altre coppie di valute: se funziona, allora mi ritengo parzialmente soddisfatto e passo alla verifica finale: metto in demo LIVE l'EA su 3 o 4 coppie di valute, ciascuno con un suo setting ottimizzato con la stessa logica e le lascio andare per un paio di mesi.
Se anche questa verifica va a buon fine, considero la logica di ottimizzazione e la strategia dell'EA un pacchetto vincente.

Sono d'accordo su tutto, ma la mia opinione è che questo ultimo passaggio non sia sempre utile. Dipende infatti dalle logiche dell'EA. Se la strategia sfrutta un vantaggio o un comportamento specifico di una coppia, non è detto che su altri mercati sia performante.
Sbaglio?