Make Your Backtest Predict the Future: A Simple System That Survives Live Trading

Kurze Zusammenfassung

Dieses Video von Mark Anderson behandelt, wie man Backtests so gestaltet, dass sie realistischer sind und nicht nur schöne, aber irreführende Ergebnisse liefern. Er stellt ein dreistufiges System vor: Design, Test und Beweis.

  • Design: Stelle sicher, dass der Test keine zukünftigen Informationen verwendet und die Annahmen realistisch sind.
  • Test: Berücksichtige reale Kosten wie Slippage und Kommissionen und teste die Strategie unter verschiedenen Marktbedingungen.
  • Beweis: Verwende Out-of-Sample-Daten und What-if-Analysen, um die Robustheit des Tests zu überprüfen.

Einführung

Mark Anderson erklärt, dass viele Backtests gut aussehen, bis sie mit echtem Geld gehandelt werden. Er wird ein einfaches System vorstellen, um Backtests realistischer zu gestalten. Er betont die Bedeutung eines praktischen Ansatzes, damit Strategien nicht scheitern, wenn sich der Markt beschleunigt. Der Prozess besteht aus drei Phasen: Design, Test und Beweis. Am Ende des Videos wird er sein persönliches "Go-to"-Signal geben, bevor er live mit dem Handel beginnt.

Design des Tests

Der erste Schritt ist das richtige Design des Tests, um unrealistische Annahmen zu vermeiden. Beginne mit einem Satz, der die vermutete Edge und ihre Messung beschreibt. Wähle das genaue Instrument und den Zeitrahmen zuerst aus, z.B. Intraday-Optionen mit ein- oder fünfminütigen Bars. Halte die Features so einfach wie möglich; wenn die Edge durch das Entfernen eines komplexen Indikators verschwindet, war es keine echte Edge. Verwende nur Informationen, die zum Entscheidungszeitpunkt verfügbar gewesen wären, wie z.B. Point-in-Time-Preise und Greeks. Daten, die erst nach einer Earnings- oder Wirtschaftsdatenveröffentlichung verfügbar sind, dürfen nicht verwendet werden. Überprüfe die Datenquellen auf breite Geld-Brief-Spannen und führe Heatmaps für verwendete Indikatoren durch, um sicherzustellen, dass sie unter verschiedenen Marktbedingungen funktionieren. Überprüfe die Daten mit verschiedenen Quellen und lasse eine Fehlerspanne von 1 bis 2 % für die Eingangsdaten, um die Ergebnisse robuster zu machen.

Testen des Tests

In der zweiten Phase soll sich der Test wie ein echter Handel anfühlen, mit Regeln, die befolgt werden müssen. Definiere klare Ein- und Ausstiegsbedingungen, z. B. den Einstieg in einen Put-Credit-Spread zwischen 9:35 und 10:15 Uhr, wenn bestimmte Bedingungen erfüllt sind, und den Ausstieg bei 50 % Gewinn oder einem doppelten Stop-Loss. Lege die Positionsgröße fest, z. B. einen festen Transaktionsbetrag oder eine skalierte Größe, wobei nie mehr als 0,5 % oder 1 % des Kontos pro Trade riskiert werden sollte. Berücksichtige Kommissionen, Börsengebühren, Clearinggebühren und Slippage. Slippage nimmt mit der Marktgeschwindigkeit und der Ordergröße zu. Der Backtest muss auch unter verschiedenen Marktbedingungen (ruhige, trendstarke, unruhige und Schock-Szenarien) überleben. Konzentriere dich auf den maximalen Drawdown und die Drawdown-Dauer, das Gewinnverhältnis und die Gewinn-Verlust-Verteilung, die Handelsfrequenz und risikoadjustierte Kennzahlen wie die Sortino- oder Sharpe-Ratio.

Beweis des Tests

Die dritte Phase konzentriert sich darauf, Overfitting zu vermeiden. Verwende eine Walk-Forward-Analyse, bei der Parameter in einem Passfenster ausgewählt und dieses Fenster dann vorwärts gerollt wird, um Out-of-Sample-Daten zu handeln. Optimiere nicht für Perfektion an einem bestimmten Punkt, sondern strebe an, in allen Bereichen gut zu sein. Teste die Sensitivität, indem du Parameter leicht veränderst. Randomisiere die Handelsreihenfolge und mische die Stichprobe mit Ersetzung neu. Führe eine Monte-Carlo-Analyse durch, um die potenziellen Drawdowns zu bewerten und festzustellen, ob du bei ungünstigen Bedingungen solvent bleiben kannst. Behalte 10 bis 20 % der aktuellsten Daten unberührt und führe eine Walk-Forward-Analyse durch. Wenn die Live-Daten die Performance beeinträchtigen, ist dies ein Warnsignal. Simuliere den Handel, um die Abläufe, Ausstiege und Kurse zu verstehen. Verwende eine 1x8-Analyse, bei der auf jede Out-of-Sample-Periode acht In-Sample-Perioden folgen.

Go-Live-Kriterien

Anderson nennt mehrere Bedingungen, die erfüllt sein müssen, bevor er live geht:

  1. Walk-Forward- und Out-of-Sample-Daten müssen in der Nähe der In-Sample-Daten liegen und das vorherige Sharpe-Ratio innerhalb einer Wahrscheinlichkeit von 25 % erreichen.
  2. Die Sensitivitätsanalyse muss ein Plateau akzeptabler Parameter zeigen, und die Standardabweichung der Renditen muss über die Zeit konsistent bleiben.
  3. Die Monte-Carlo-Analyse muss zeigen, dass der schlimmste realistische Pfad überlebensfähig ist, wobei der maximale Drawdown etwa drei der schlechtesten Performances im Backtest entspricht.
  4. Die Kosten für Slippage sind einkalkuliert und werden sogar um 10 bis 20 % erhöht, um den Test robuster zu machen.
  5. Die Strategie muss in einfachem Deutsch verständlich sein, mit einer nachvollziehbaren Begründung für die Existenz der Edge.

Zusammenfassung und Ratschläge

Anderson vergleicht einen Backtest mit dem Training für eine Bergwanderung. Das Design entspricht der richtigen Ausrüstung, das Testen dem Training mit Gewichten (Gebühren, Kommissionen und Slippage) und der Beweis dem Training bei unterschiedlichen Wetterbedingungen (Walk-Forward-Analyse, Sensitivität und Monte-Carlo-Analyse). Wenn er diese Woche von vorne anfangen würde, würde er eine klare Hypothese aufstellen, die einfachste Version davon codieren, Kosten frühzeitig berücksichtigen und eine Mini-Walk-Forward- und Monte-Carlo-Analyse durchführen, bevor er mit der Optimierung beginnt.

Fasse jedes YouTube-Video in Sekunden zusammen

Hol dir Zusammenfassungen wie diese für jedes Video, in deiner Sprache, mit der kostenlosen Summ-App.

Laden im App Store
Jetzt bei Google Play

Transkript

Vollständiges Transkript von „Make Your Backtest Predict the Future: A Simple System That Survives Live Trading“. Klicke auf einen Zeitstempel, um das Video an dieser Stelle zu öffnen. Du brauchst ein anderes Video? Nutze den YouTube-Transkript-Generator.

0:00 Most back tests look amazing right up until you trade them with real money. Today, I'll show you the simple system used to make back tests behave more like the future and less like a pretty lie. I'm Mark Anderson, former construction worker turned zeroT hedge fund manager. I trade for a living and I've broken plenty of perfect back test. This is the practical checklist I wish I had earlier. as your strategy doesn't die in the moment the market speeds up. We'll keep this simple with three stages. One, design it right so you're not sneaking future into the past. Two, test it right so you see the real cost, slippage, and stress. And three, prove it right with out of sample data and whatif checks. Stick around to the end and I'll give you my go-to green light signal before I

0:47 start trading anything live. Design, test, and prove it. Stage one, we got to design the test, right? Don't bake in fantasy. Start with one sentence. I think X edge exists because Y and I'll measure it using Z. Example, I think SPX premium decays fast on comm morning warnings. I'll test selling zero DT credit spreads after an overnight gap down when the implied volatility has increased. Pick the exact instrument and time frame first. Intraday options. Use one minute or five minute bars for a trigger and the options chain data for actual fills. Keep the features as simple as possible. If the edge dies when you remove your fancy indicator, it wasn't an edge. It was decoration. Only

1:32 use the information that would have existed at the time of decision. That means point in time prices in Greeks. Buying an option before an earnings release or economic data release must be excluded because you did not have that data before the trade. Garbage in, garbage out. Cross-check your data sources for wide bid ass spreads. Run heat maps for that indicator you're using so it shows that it works when market is up 0.1%, 0.3% or 0.5%. Not just 0.16%. If you're getting your signal from options omega, cross-check that with an indicator from Trading View. Once you have ran your test through many iterations of data to ensure it's clear, leave a 1 to 2% margin of error for the entry data so that your results will be

2:18 robust in the future. Stage two, test it right. Make it feel like the tape is real and you have rules to follow instead of just a stubborn robot. You want to enter a put credit spread between 9:35 and 10:15 when the implied volatility rank is below 20 and the 5minute ATR is falling and the price is above the VWOP. Your exit condition may be take a 50% profit of the credit sold on the timebased entry at 345 or stop at a 2x stop loss. Your sizing, we have a fixed transaction or scaled size for one position. We never want to risk more than, let's say, half of a percent of our account or 1% of our account per trade. Personally, I like to use an R multiple, meaning that one R would be a

3:03 $1,000 loss. The fills won't be perfect, so you need to model your commission, exchange fees, clearing fees, and most important, slippage. This grows as speed of markets widen. Wider slippage, bigger orders, more slippage. If your curve only works with fantasy fills, it won't work in real life. We need to be aware of how modest our slippage assumptions are. If we're using a delta-based trade, as the market gets more volatile, you will experience more slippage and higher volatility. That means you need to build that into your back test. You need to run your back test through different regimes. Calm markets, trending markets, chop markets, and shock scenarios. A good system should survive all four, even if it shines only in one. Ignore the annualized return. That's just for

3:49 bragging. Focus on these things. Max draw down and draw down length. Can you emotionally sit through the length of that draw down? I will not trade anything that sits in draw down for over six months. Profit factor and win to- loss distribution. Is the risk-to-reward reasonable? So, if you get a much longer losing streak than in the back test, you can still recover in under 6 months. What's your trade frequency or the time in the market? the more frequent the trade occurs and the less time frame going back in time we need to have conviction in that trade for our data set. What is the risk adjusted metrics like sortino ratio or sharp ratio? I like these because it takes into account the standard deviations of returns not just one single worst day like in max draw down. Stage three, you need to

4:35 prove it right. Kill overfit because it will eventually kill you. Instead of optimizing on the whole history, do walk forward analysis. Pick parameters on a pass window. Then roll that window forward and trade out of sample data for insample data and repeat. You want to be okay at everything, not perfect parameters that are amazing in one spot. Nudge the knobs. And if shifting the look back from 18 to 20 months in performance changes the robustness, we see that that's a problem. You want to randomize your trade order and reshuffle the sample with replacement. You also want to think of the thousand different times the distribution could have changed with a Monte Carlo analysis in terms of draw down. What are the potential chances that you'll realize a 20% draw down in the range of returns?

5:21 If the bad luck hits you at the worst time, can you stay solvent? You're closer to your real risk is less than 1%. You should be safe. These are important questions you need to answer before going live and trading. Keep 10 to 20% of the most recent data untouched and walk forward. If the live slice craters your performance, this is something you need to pay attention to. Paper trade it forward to understand what it looks like for a bit before you check the plumbing, the exits, and the quotes. My tip is to walk forward with a 1x8 analysis. So for every period you have out of sample, you have eight periods in sample. This would look like a 24-month look back with 3 months out of sample. I only consider going live if all three of these trades are applicable. One, walk forward and out of

6:08 sample are within shouting distance of in sample data. They match the prior sharp ratio within a 25% probability. Two, sensitivity shows a plateau of acceptable parameters. The standard deviation of returns maintains consistency over time of all the period. And three, Monte Carlo analysis says my worst realistic path is survivable in the Monte Carlo max draw down around three of the worst performances on the back test. And four, cost of slippage are baked in. And I even worsen the actual slippage by 10 to 20% of what I've experienced in real life to make sure my test is robust. And five, the strategy still makes sense in plain English. There's a human understandable reason that the edge should exist. Think

6:54 of a back test like training for a mountain or type of hike. Design it right. Wear the right boots. Don't pretend like the mountain is flat. Test it right. Train with a weighted pack. fees, commissions, and slippage, and then prove it right. Try it in a training in different types of weathers, walk forward analysis, sensitivity, and Monte Carlo analysis. If only one practice on the treadmill and then you get to the real mountain, it'll beat you. If I were starting from scratch this week, I'd pick one clear hypothesis and code the dumbest possible version of that first. Then I would add cost, slippage, commissions, and fees early. Don't save it for later. Then I would run a mini walk forward in Monte Carl analysis before I chase any optimization. Thanks for watching. Let

7:39 me know in the comments what you use as your checklist before running a back test live. Next video I'll show you how I model slippage for fast markets without level two data. Subscribe if you want to see that. I'll see you guys next time.

Share

Weitere Video-Zusammenfassungen