第22章历史测试的谎言(3)
第22章历史测试的谎言(3)
之所以说历史测试有预测价值，是因为历史测试结果可以对交易者在未来的表现提供一些指示。未来与过去越接近，未来的交易结果就越接近于历史模拟结果。作为系统分析的一种方法，历史测试也有一个很大的问题，那就是未来永远也不会等同于过去。但一个系统确实能利用反映在市场中的人类永恒行为特征来赢利，从这个角度看，过去就是对未来的模拟，尽管不是精确的模拟。用全部经过最优化的参数得出的历史检验结果代表着非常特殊的交易结果，也就是这个使用最佳参数的系统用于过去的实战中将产生的交易结果。因此，这个模拟结果就代表着最乐观的历史回顾。
假如未来与过去完全一致，你在实际交易中就应该得到这样的结果，但未来永远也不会等于过去！现在请回顾一下本章前后的各个图表：每个图的形状都像是一座山峰，而且都有一个峰顶值。你可以用图11–4这样的图来表示一个给定的参数值。
如果说a点的值代表着一个典型的非最优化参数值，b点的值代表着一个最优化的参数值，那么我会说：b值用在实际交易中更好，但如果用b值，未来的实际交易结果可能逊于b值下的历史检验结果。
相反，a值用在实际交易中不如b值，但它的预测价值更高，因为如果用a值进行交易，那么未来的实际结果与a值下的历史检验结果更为相符——也就是说，未来实际结果好于或逊于历史检验结果的可能性是相同的。
为什么？为了更好地理解这一点，让我们假设未来会发生很大的变化，以至于图11–4中的图有可能要左移或右移一点，但我们不知道向左还是向右。这代表着a、b值的相对位置在未来的可能移动范围，我们称为误差幅度。
对a点来说，如果它的相对位置左移，它所对应的系统表现就要低于a点；如果它的位置右移，系统表现就会提高。因此，参数值a下的测试结果有不错的预测价值，不管未来如何变化，因为它高估和低估未来表现的可能性是相同的。
但b点就不一样了。不管向左还是向右移，系统表现都会下降。这意味着b值下的预测结果很有可能高估未来的实际结果。假如这种效应通过多个不同的参数而复合放大，那么未来变化的影响也会复合放大。这意味着，如果有很多参数都是最优化的，那么未来的实际结果与这些最优化参数值下的预测结果就很难吻合。
但这并不意味着我们应该在实际交易中使用参数a。因为即使未来的变化幅度相当可观，b点左右的系统表现仍然高于a点左右的系统表现。因此，尽管最优化过程降低了预测价值，你仍然应该采用最优化参数，因为最优化参数更有可能带来理想的结果，不管未来如何变化。
最优化矛盾已经成了骗局和诡计的温床。有很多不道德的系统兜售者大肆炫耀他们靠特定市场上的最优化（特别是短期最优化）所得出的超高利润和不可思议的优异表现，但他们知道这样的历史测试结果不可能在实际交易中实现。不过，最优化会导致虚夸现象并不意味着我们不应该最优化。事实上，要想建立有效的交易系统，最优化是至关重要的。
过度拟合或曲线拟合
骗子们还会用其他方法来制造不切实际的历史检验结果。最胆大妄为的那些人会有意使用过度拟合或曲线拟合来美化他们的系统。人们常常将过度拟合与最优化矛盾混为一谈，但实际上它们不是一回事。
过度拟合通常发生在系统变得过于复杂的时候。有时候，你可以通过添加法则来提高一个系统的历史表现，但这仅仅是因为这些法则影响了屈指可数的几笔重要交易。添加法则会导致过度拟合，这对发生在关键时期的交易来说尤其明显。比如，假如一条法则要求你在接近最高峰的时候退出一个特别大的赢利头寸，这当然会提高你的系统表现，但如果这条法则对其他情况没有充分的适用性，这就成了过度拟合。
我曾见过许多系统兜售者在一段相对低迷的时期后用这种手段来提高他们的系统表现。他们有时候会把修改过的系统称为原版系统的“加强版”或“二代”。如果你想购买这一类的“加强”系统，你应该好好研究一下那些新添加的法则，确保那些改进不是过度拟合的结果。
我发现用极端的例子来说明一种现象往往有助于我们更好地理解它。所以，我想给出一个极端过度拟合的例子。我会从非常简单的双重移动均线系统开始，然后添加一些法则，开始数据的过度拟合。
我们知道，这个系统在最后6个月的测试期内遭受了一次非常严重的衰落。所以，我会加入几条新法则，通过解决衰落问题来提高系统的表现。当衰落幅度达到一定的水平时，我就把我的头寸规模降低到一定的百分比；在衰落期结束后，我再把头寸恢复到正常水平。
让我们把这条新法则添加到系统中。这个法则有两个需要最优化的参数：一是头寸压缩的百分比，二是开始头寸压缩的衰落限制标准。根据模拟出的净值曲线，我决定在衰落幅度达到38%的情况下把头寸减小90%。添加这条法则大大提高了系统的表现，回报率从没有这条法则时的41.4%上升到了45.7%，最大衰落从56%下降到了39.2%，mar比率从0.74上升到了1.17。你可能会想：“这是个很棒的法则，系统大有改善。”事实上，你完全错了！
问题在于，这个法则在整个测试期内只有这一次发挥作用。它发生在测试期马上就要结束的时候，而我加入这条法则是因为我已经知道了净值曲线的形状。因此，系统已经被有意地进行了数据拟合。“这有什么大不了的？”你可能会问。那就让我们看看图11–6，也就是不同衰落限制下的mar比率。
很明显，当我们把衰落限制下降到37%以下时，系统的表现急转直下。事实上，衰落限制只下调了1%，系统就从每年赢利45.7%陡然变为每年亏损0.4%。原因何在？原来，下调衰落限制后，这个法则将在1996年8月间生效，导致我们把头寸规模大幅削减，以至于后期赢利太少，没能从衰落中恢复元气。由此可见，这条法则并没有那么好。它在第一次试验中有效仅仅是因为那次衰落发生在测试期即将结束的时候，头寸削减对后期表现的影响并没有体现出来。
参数值的微小变化却引发了交易结果的剧烈变化，这种现象被交易者们称为峭壁（cliff）。峭壁的出现是个很好的信号，这证明你可能已经犯了过度拟合的错误，而且你的实际交易结果可能会与测试中的结果大相径庭。峭壁现象也是我们认为参数最优化有益的原因之一：通过最优化程序，你可以发现峭壁，在开始交易之前就修正这个问题。
样本规模的统计学价值
正如我们在中所说，人们往往对某种特定现象的少数事例过于重视，但却忽略了一个重要事实：从统计学上说，我们从寥寥几个例子中得不出太多的结论。这个问题就是过度拟合的主要缘由。添加某些不太经常发挥作用的法则会导致无意中的过度拟合，而这会造成事后测试结果与实际交易结果的差异。
这个问题经常在不经意间发生，因为大多数人都不会从这样的角度考虑问题。季节性因素就是个很好的例子。如果你想用10年的数据来分析某个特定的季节性现象，你最多只有10个例子可用，因为你的测试期只有10年。这样的样本规模没有什么统计学价值，因此任何以这些数据为依据的测试都对未来的表现没有太多的借鉴意义。
假设我们忽略了这个问题，想让电脑帮我们找到一个数据拟合的完美方法。你可能发现有好几年的9月份都表现不佳，于是你想加入一条法则，在每年的9月份都将头寸削减到一定的比例。由于你有电脑，你可能想借助电脑模拟来找出所有的季节性逆境时期，每到这样的时期，你就会削减你的头寸。
我把这样的方法用在了本章所说的系统中。我进行了4000次测试，看了看季节性调整的效果：从每个月的月初开始削减头寸，在特定的天数内削减一定的百分比，然后在特定天数之后将头寸恢复到最初的规模。结果，我在10年的测试期内发现了两个可调整的时期。如果在每年9月份的头两天以及每年7月份的头25天内都将头寸规模降低96%，则系统的表现会提高，提高多少呢？
加入这条法则后，回报率进一步从45.7%上升到58.2%；衰落幅度略有提高，从39.2%变为39.4%；mar比率则从1.17提高到1.48。乍一看，我们还是会认为：“这是个很棒的法则，系统大有改善。”