研究文章
N / 260916

两天接近 80%,五年后发生了什么?一次 Polymarket Bot 小样本验证

一次 Polymarket Bot 研究案例:近期小样本中接近 80% 的现象,放到接近五年的数据后如何变化,以及为什么长期验证比漂亮胜率更重要。

量化研究里最危险的数字,往往不是一个很差的结果。

而是一个:

好得让人特别想相信的结果。

最近我们在研究 Polymarket BTC 5 分钟市场的秒级微观结构时,就遇到了这样一个例子。

在很短的一段近期样本中,某些“提前方向 + 微观结构确认”的组合,胜率一度接近 70%–80%。

如果这是一张营销截图,到这里其实已经可以结束了:

80% WIN RATE
NEW EDGE FOUND

但我们没有这么做。

我们把同一类关系放进了接近五年的连续历史数据里。

结果很典型。


1. 小样本中的“神奇规律”

短样本为什么这么危险?

因为一个局部时期可能刚好处在非常适合某个特征的市场环境。

例如:

  • 波动结构比较单一;
  • 价格趋势持续;
  • 某种微观变化特别明显;
  • 市场参与者行为短期一致。

这时候一个简单条件就可能表现得异常漂亮。

问题在于:

你不知道自己发现的是长期结构,还是只发现了最近几天。

而当结果已经出现在你眼前以后,人会天然开始替它寻找解释。

这就是研究最危险的阶段。


2. 所以我们没有继续“优化 80%”

面对这个结果,一个很诱人的下一步是:

再微调一下,看能不能变成 82%、85%。

我们选择了相反的方向。

不再调近期样本。

直接把研究扩大到多年历史。

为此,我们重新构建了完整秒级数据环境,把同一类候选关系放进跨年份的时间序列中重新验证。

最终结果没有保留那种夸张的胜率。

一些候选仍然高于随机水平,也有正的标准化历史结果。

但整体回到了:

中 50% 区间。

这和两天样本里的 70%–80% 已经是完全不同的故事。


3. 这不是失败,反而是更有价值的结果

很多人会觉得:

从 80% 掉到 56%左右,说明研究失败了。

我们反而认为:

这一步才让研究开始有意义。

因为短样本只能告诉你:

“最近出现过一个很强的关系。”

长历史才能开始回答:

“它是不是一个长期存在的关系?”

这两件事不能混在一起。

多年验证以后,这个微观结构关系没有完全消失。

它仍然包含一定的信息。

但它并没有强到可以被当作一个独立策略直接上线。

这就是一个更真实的结论。


4. 为什么五年验证比总胜率更重要

即使五年总胜率仍然为正,也不能只看总数。

我们更关注:

  • 不同年份是否方向一致;
  • 是否存在明显失效年份;
  • 收益是否集中在少数时期;
  • 回撤是否在某些市场环境中失控;
  • 最近几年和早期年份是否出现结构变化。

在这次验证里,一个很典型的现象是:

总历史有信息增益,但并不是所有年份都同样稳定。

这意味着它更可能是一个:

条件性特征

而不是一个:

普遍成立的独立规则。


5. “有信息”不等于“可以上线”

这是我们最近越来越强调的一条原则。

一个特征可以同时满足:

  • 和目标有统计关系;
  • 在全历史略高于随机;
  • 某些阶段表现很好;

但仍然:

不够资格进入生产策略。

为什么?

因为生产规则需要的不只是:

有相关性

而是更严格的东西:

跨时间稳定
可解释
不依赖少数年份
对参数不敏感
与已有系统结合后仍然成立

所以我们对这次结果的处理是:

保留研究价值,不固化成规则。


6. 这也是为什么我们愿意公开失败过程

很多量化内容只展示最后留下来的结果。

你很少看到:

  • 哪个想法一开始特别漂亮;
  • 哪个规则后来被五年数据打掉;
  • 哪个参数只在最近有效;
  • 哪个特征有信息但不够稳定。

但如果只展示成功结果,就很容易形成一种假象:

好策略是一次就被发现的。

实际上,大多数研究过程更像:

发现现象
↓
提出假设
↓
局部结果很好
↓
扩大样本
↓
优势缩小
↓
重新定义它真正能做什么

这次研究就是一个很典型的例子。


7. 我们真正留下来的东西

五年验证以后,我们没有留下一个“80% 策略”。

我们留下的是三个更有价值的结论:

第一

短周期微观结构里确实存在一些可测的信息。

第二

这些信息在小样本中极容易被高估。

第三

它可能更适合作为已有判断的确认层,而不是独立决定交易方向。

这比一个漂亮的短期胜率,更接近长期研究需要的东西。


Conclusion

如果一个 Polymarket Bot 研究结果在两天里接近 80%,最应该做的事情可能不是上线。

而是:

先想办法把它打掉。

扩大到更长历史。

拆分不同年份。

检查时间顺序。

寻找失效阶段。

如果它经历这些以后仍然存在,再继续研究它。

这并不会让内容看起来那么刺激。

但它能减少一个量化系统最危险的问题:

把近期偶然,当成长期优势。



Disclaimer: 本文讨论的是研究验证过程。文中的局部胜率和多年验证结果不代表实际账户收益,也不披露任何可直接复现的策略条件、阈值、参数或信号组合。