量化研究里最危险的一类结果,不是明显失败的结果。
而是:
看起来非常成功的结果。
最近一次 BTC 合约策略深挖中,我测试了一批新的退出和局部过滤方案。
其中一些候选的历史收益明显高于当前冻结版本。
如果只看最终资金,它们很有吸引力。
但最后我没有升级策略。
原因很简单:
Historical Improvement ≠ Structural Improvement
1. “更高收益”只是第一层问题
一个候选在完整历史里赚得更多,只能说明:
它在这段历史上结果更高。
它不能直接说明:
它发现了一个更稳定的市场规律。
这两个结论差别很大。
一个候选可以通过:
- 特别适配早期行情;
- 刚好抓住少数大行情;
- 改变几个路径依赖很强的交易;
- 牺牲后期表现换早期收益;
得到一个更漂亮的总结果。
所以研究不能停在:
最终余额更高。
2. 我把历史切成了多个阶段
当一个候选看起来很强时,我更关心:
它的提升来自哪里?
因此会把完整历史拆成多个阶段。
一个真正更有吸引力的改进,至少应该做到:
- 不只在早期历史有效;
- 中间阶段不明显退化;
- 最近阶段仍然保留增量;
- 回撤没有被隐藏到别的时期;
- 月、周、日稳定性不明显恶化。
如果提升只集中在一个阶段,那么更合理的解释可能是:
它对那个阶段特别适配。
而不是:
它提升了策略本身。
3. 表面最强的候选发生了什么?
在某些退出层研究里,我确实找到过非常漂亮的候选。
完整历史看起来:
- 收益明显提高;
- 部分高杠杆版本提升尤其大;
- 单看总曲线甚至很难拒绝。
但拆分后发现:
增益主要集中在较早年份。
而在后续阶段:
- 改善变弱;
- 有些阶段直接退化;
- 最近历史并没有稳定复现早期优势。
一旦要求:
每个大阶段都真正命中,并且增量不能明显退化,
可接受候选会迅速减少,甚至归零。
4. 这就是为什么“全样本优化”很危险
如果直接在完整历史上搜索参数,再用同一段完整历史评价,很容易出现:
历史看起来越来越漂亮。
因为研究过程本身就在不断利用这段历史。
这不一定意味着故意过拟合。
即使研究者非常克制,也会产生:
Researcher Overfitting
你会逐渐知道:
- 哪些年份难;
- 哪些交易最伤;
- 哪个阈值大概有效;
- 哪个候选曾经失败。
这些信息都会影响下一轮研究。
所以“完整历史表现更好”必须被非常谨慎地解释。
5. 局部 STOP 也有同样的问题
另一个常见研究方向是:
找出那些长期拖累收益的交易,然后加一个 STOP 条件过滤掉。
这听起来很合理。
但风险在于:
你很容易先看到坏结果,再反过来寻找能描述它的条件。
如果一个 STOP 规则:
- 只减少几笔历史亏损;
- 但同时伤害月度/周度稳定性;
- 或者在高杠杆版本里反而降低收益;
- 或者依赖非常窄的参数范围,
那它更像一个历史修补,而不是稳定结构。
6. 为什么“少亏一点”也不一定值得升级?
有些候选确实能降低最大回撤。
但代价可能是:
- 最终收益大幅下降;
- 周度正收益比例下降;
- 某些年份恶化;
- 高杠杆版本出现新的弱点。
所以:
风险改善也必须看代价。
如果为了把回撤从一个水平降到更低,需要牺牲大部分长期收益,那么它是否值得采用,要结合整个系统目标判断。
不能只看一个指标。
7. 我现在更看重“跨阶段不退化”
相比“完整历史提升多少”,我越来越重视:
这个改进是否在不同历史阶段都不明显退化。
这并不要求每个阶段都必须大幅提升。
但至少应该避免:
- 早期非常强;
- 后期明显变差。
一个真正稳健的改进,可能只带来很小的历史总增量。
但如果它:
- 多阶段方向一致;
- 风险不恶化;
- 参数邻域稳定;
- 因果成立;
- 最近历史仍然有效,
它反而更值得信任。
8. “没有升级”本身也是研究结果
很多研究流程容易产生一种压力:
做了一轮研究,就应该找到一个更好的版本。
但这其实很危险。
如果没有足够证据说明新版本更好,最合理的结论可以是:
保持当前版本不变。
这并不是研究失败。
相反,它说明研究流程有能力拒绝:
- 更高的历史收益;
- 更漂亮的回撤;
- 更复杂的模型;
- 更刺激的回测数字。
这对长期系统来说非常重要。
9. OOS 样本比继续调历史更有价值
当一个版本已经在当前历史样本上被反复研究以后,继续深挖的边际价值会越来越低。
下一步最有价值的数据,往往不是:
再找 100 个参数。
而是:
新的真实 OOS 样本。
因为新数据不会因为你已经研究过它而产生信息污染。
它可以帮助回答:
- 当前结构是否继续有效;
- 哪些候选值得重新评估;
- 新市场环境是否暴露出真正的覆盖缺口。
最后
这次研究让我再次确认:
量化研究不是一个不断提高历史收益的过程。
更准确地说,它是:
不断提出改进假设,然后尽可能把它们否掉。
一个候选如果能经受住:
- 多阶段拆分;
- 参数邻域;
- 回撤检查;
- 周月日稳定性;
- 因果审计;
- 最近数据验证;
才更有资格被称为:
Structural Improvement
否则,它最多只是:
Historical Improvement
这两者不能混为一谈。
本文仅记录研究过程,不构成投资、交易或财务建议。历史回测结果不代表未来表现。