量化研究里最危险的数字,往往不是一个很差的结果。
而是一个:
好得让人特别想相信的结果。
最近我们在研究 Polymarket BTC 5 分钟市场的秒级微观结构时,就遇到了这样一个例子。
在很短的一段近期样本中,某些“提前方向 + 微观结构确认”的组合,胜率一度接近 70%–80%。
如果这是一张营销截图,到这里其实已经可以结束了:
80% WIN RATE
NEW EDGE FOUND
但我们没有这么做。
我们把同一类关系放进了接近五年的连续历史数据里。
结果很典型。
1. 小样本中的“神奇规律”
短样本为什么这么危险?
因为一个局部时期可能刚好处在非常适合某个特征的市场环境。
例如:
- 波动结构比较单一;
- 价格趋势持续;
- 某种微观变化特别明显;
- 市场参与者行为短期一致。
这时候一个简单条件就可能表现得异常漂亮。
问题在于:
你不知道自己发现的是长期结构,还是只发现了最近几天。
而当结果已经出现在你眼前以后,人会天然开始替它寻找解释。
这就是研究最危险的阶段。
2. 所以我们没有继续“优化 80%”
面对这个结果,一个很诱人的下一步是:
再微调一下,看能不能变成 82%、85%。
我们选择了相反的方向。
不再调近期样本。
直接把研究扩大到多年历史。
为此,我们重新构建了完整秒级数据环境,把同一类候选关系放进跨年份的时间序列中重新验证。
最终结果没有保留那种夸张的胜率。
一些候选仍然高于随机水平,也有正的标准化历史结果。
但整体回到了:
中 50% 区间。
这和两天样本里的 70%–80% 已经是完全不同的故事。
3. 这不是失败,反而是更有价值的结果
很多人会觉得:
从 80% 掉到 56%左右,说明研究失败了。
我们反而认为:
这一步才让研究开始有意义。
因为短样本只能告诉你:
“最近出现过一个很强的关系。”
长历史才能开始回答:
“它是不是一个长期存在的关系?”
这两件事不能混在一起。
多年验证以后,这个微观结构关系没有完全消失。
它仍然包含一定的信息。
但它并没有强到可以被当作一个独立策略直接上线。
这就是一个更真实的结论。
4. 为什么五年验证比总胜率更重要
即使五年总胜率仍然为正,也不能只看总数。
我们更关注:
- 不同年份是否方向一致;
- 是否存在明显失效年份;
- 收益是否集中在少数时期;
- 回撤是否在某些市场环境中失控;
- 最近几年和早期年份是否出现结构变化。
在这次验证里,一个很典型的现象是:
总历史有信息增益,但并不是所有年份都同样稳定。
这意味着它更可能是一个:
条件性特征
而不是一个:
普遍成立的独立规则。
5. “有信息”不等于“可以上线”
这是我们最近越来越强调的一条原则。
一个特征可以同时满足:
- 和目标有统计关系;
- 在全历史略高于随机;
- 某些阶段表现很好;
但仍然:
不够资格进入生产策略。
为什么?
因为生产规则需要的不只是:
有相关性
而是更严格的东西:
跨时间稳定
可解释
不依赖少数年份
对参数不敏感
与已有系统结合后仍然成立
所以我们对这次结果的处理是:
保留研究价值,不固化成规则。
6. 这也是为什么我们愿意公开失败过程
很多量化内容只展示最后留下来的结果。
你很少看到:
- 哪个想法一开始特别漂亮;
- 哪个规则后来被五年数据打掉;
- 哪个参数只在最近有效;
- 哪个特征有信息但不够稳定。
但如果只展示成功结果,就很容易形成一种假象:
好策略是一次就被发现的。
实际上,大多数研究过程更像:
发现现象
↓
提出假设
↓
局部结果很好
↓
扩大样本
↓
优势缩小
↓
重新定义它真正能做什么
这次研究就是一个很典型的例子。
7. 我们真正留下来的东西
五年验证以后,我们没有留下一个“80% 策略”。
我们留下的是三个更有价值的结论:
第一
短周期微观结构里确实存在一些可测的信息。
第二
这些信息在小样本中极容易被高估。
第三
它可能更适合作为已有判断的确认层,而不是独立决定交易方向。
这比一个漂亮的短期胜率,更接近长期研究需要的东西。
Conclusion
如果一个 Polymarket Bot 研究结果在两天里接近 80%,最应该做的事情可能不是上线。
而是:
先想办法把它打掉。
扩大到更长历史。
拆分不同年份。
检查时间顺序。
寻找失效阶段。
如果它经历这些以后仍然存在,再继续研究它。
这并不会让内容看起来那么刺激。
但它能减少一个量化系统最危险的问题:
把近期偶然,当成长期优势。
Related Research
- 没有偷看未来,Polymarket Bot 回测就可靠吗?
- 我们为什么拒绝一个最近表现更好的 Polymarket Bot 规则?
- Polymarket Bot 五年回放:交易覆盖扩大近 8 倍后,稳定性发生了什么?
Disclaimer: 本文讨论的是研究验证过程。文中的局部胜率和多年验证结果不代表实际账户收益,也不披露任何可直接复现的策略条件、阈值、参数或信号组合。