量化的本质是数据加因子加策略数据是原料因子是加工策略是决策。三者层层递进而数据在最底层——因子从数据里算出来策略靠因子做决策。但数据质量不决定策略的上限决定它的下限数据好策略未必有效数据错因子就是错的策略建立在错误的因子上回测再漂亮实盘也是另一回事。数据重要重要到应该用最省力、最可靠的方式拿到它而不是亲手去建一条管道。这里要澄清一下「自己动手」我说的是策略主导权——选股、决策、执行不外包给基金而数据获取是公共基础设施不构成竞争优势外包无害。另外先说清楚范围下面聊的是个人量化最常见的场景——日级别策略、标准行情加财报数据高频、另类数据的逻辑不一样文章最后会回到这个边界。个人量化最容易被忽视的陷阱是把策略研究变成工程量我见过太多人包括当年的我走上这条弯路决定做量化之后第一件事不是找因子而是建数据管道。爬行情、爬财报、搭数据库、写增量更新再配上定时任务和监控工程做得有模有样成就感满满。但这是个人量化最容易被忽视的陷阱把策略研究变成了沉重的工程量。个人做量化真正该做的事是一个循环——寻找因子、调整策略、严格执行。这个循环跑得越快你进步得越快。而建数据库、维护数据源这件事不在循环里它是循环的燃料供应商。把大量时间和精力花在维护数据源上不是在做量化是在修管道。管道修得再漂亮也不会让策略多赚一分钱。这个陷阱的迷惑性在于它给你一种「我在做量化」的错觉每天都有事做每天都有产出数据库越来越大代码越来越多。但停下来一看因子的想法还是那几个策略还是没迭代循环根本没转起来。本末倒置是这个陷阱最准确的定义。所以我不推荐个人量化自建数据源首先不是因为它技术上有多难而是因为它会把你的精力从核心循环上抽走。其次才是自建数据源本身那些坑。其次自建数据源的三个坑先界定一下这里说的自建是「爬虫、数据库、清洗全套自己造」的那种从现成源拉数据落库、自己加复权和清洗逻辑的「半自建」是很多人的现实选择成本可控不算坑。真正的自建有三个坑每一个都够让个人量化者折戟坑一数据错了你不会知道。 复权没处理对、幸存者偏差没剔除、财报用了发布日之前的数据、涨停板信号算出来却买不进去——这些错误不会报错不会提示它们只是让你的回测曲线变得好看。你以为那是策略有效其实是数据在骗你然后你开始调参越调越离谱最后在给数据错误配参数。坑二维护是永无止境的。 反爬会升级、接口会变、财报字段会调整、除权除息规则要手动补。自建的成本从来不是「写爬虫那两周」而是之后每一天的持续性消耗。机构有专人干这个个人只有晚上那点时间——数据管道会悄悄吃光它。坑三单人系统没有兜底。 机构的数据管道有 review、有测试、有告警出错了有人发现有人修。个人一个人写、一个人测、一个人上线规则写错了没人拦你静默出错了没人提醒你。单点故障不是概率问题是时间问题。还要澄清一句用现成源不是不用懂数据——复权、幸存者偏差这些坑你依然要知道它们在哪才判断得了数据对不对。现成源替你省掉的是踩坑的过程不是认知。数据源怎么选标准是赚得回来那数据源到底买不买、买哪种先别急着看功能表我的标准很简单这笔钱你有没有能力赚回来。起步阶段免费源akshare、baostock完全够用但要心里有数它们本质是社区维护的爬虫接口变动频繁、字段质量参差。用它们不是零风险只是把维护外包给了社区而社区不保证可用性。Tushare Pro 一年 500 块对做日线策略的个人已经很够。500 块是什么概念如果策略真的有效哪怕只带来 0.1% 的年化提升十万元本金一年就是 100 块——数据费是你账本里小到不该成为决策变量的那行。如果不追求数据及时性还有更省的办法几块钱搞个共享账号把历史数据一次性下载到本地慢慢研究。这依然是「用现成源」——你只是把在线订阅换成了本地快照清洗和复权逻辑自己留着该怎么做研究还怎么做。这不违背前面的原则你没有花时间维护管道只是把数据拿到了手。花钱还是省钱不用纠结功能表和数据精度只问一句这笔钱你的策略赚得回来吗赚得回来买赚不回来那问题的核心也不是数据费——省下这点钱救不回一个没有 alpha 的策略。什么时候自建才是合理的数据源不是绝对不能自建它只在边界上成立商业源覆盖不到的数据比如大宗交易逐笔明细、某些另类数据买不到就自己搞个性化加工的数据比如你自己设计的因子、衍生指标——这不叫自建数据源叫自建特征工程该做而且必须自己做纯粹想学技术那完全可以但要认清这是在为学习付费不是为省钱更不是为策略。判断标准就一条如果自建是为了「数据更可靠」多半会失望如果是为了「拿到商业源没有的东西」才真正成立。把时间还给循环个人量化的胜负手是「找因子→调策略→严格执行」这个循环的转速。数据是水策略是鱼你要做的是用现成的干净水源尽快养出会游泳的鱼而不是先花两年亲手打一口井。数据重要所以更不该亲手去维护它。把维护交给成熟的数据源把时间留给自己——留给那个真正决定你收益的循环。至于高频、另类数据那是另一个故事那里「买不到」是常态自建才真正开始。但在日级别、标准数据的战场上把管道外包把时间留给循环是投入产出比最高的选择。
量化的本质是数据加因子加策略数据是原料因子是加工策略是决策。三者层层递进而数据在最底层——因子从数据里算出来策略靠因子做决策。但数据质量不决定策略的上限决定它的下限数据好策略未必有效数据错因子就是错的策略建立在错误的因子上回测再漂亮实盘也是另一回事。数据重要重要到应该用最省力、最可靠的方式拿到它而不是亲手去建一条管道。这里要澄清一下「自己动手」我说的是策略主导权——选股、决策、执行不外包给基金而数据获取是公共基础设施不构成竞争优势外包无害。另外先说清楚范围下面聊的是个人量化最常见的场景——日级别策略、标准行情加财报数据高频、另类数据的逻辑不一样文章最后会回到这个边界。个人量化最容易被忽视的陷阱是把策略研究变成工程量我见过太多人包括当年的我走上这条弯路决定做量化之后第一件事不是找因子而是建数据管道。爬行情、爬财报、搭数据库、写增量更新再配上定时任务和监控工程做得有模有样成就感满满。但这是个人量化最容易被忽视的陷阱把策略研究变成了沉重的工程量。个人做量化真正该做的事是一个循环——寻找因子、调整策略、严格执行。这个循环跑得越快你进步得越快。而建数据库、维护数据源这件事不在循环里它是循环的燃料供应商。把大量时间和精力花在维护数据源上不是在做量化是在修管道。管道修得再漂亮也不会让策略多赚一分钱。这个陷阱的迷惑性在于它给你一种「我在做量化」的错觉每天都有事做每天都有产出数据库越来越大代码越来越多。但停下来一看因子的想法还是那几个策略还是没迭代循环根本没转起来。本末倒置是这个陷阱最准确的定义。所以我不推荐个人量化自建数据源首先不是因为它技术上有多难而是因为它会把你的精力从核心循环上抽走。其次才是自建数据源本身那些坑。其次自建数据源的三个坑先界定一下这里说的自建是「爬虫、数据库、清洗全套自己造」的那种从现成源拉数据落库、自己加复权和清洗逻辑的「半自建」是很多人的现实选择成本可控不算坑。真正的自建有三个坑每一个都够让个人量化者折戟坑一数据错了你不会知道。 复权没处理对、幸存者偏差没剔除、财报用了发布日之前的数据、涨停板信号算出来却买不进去——这些错误不会报错不会提示它们只是让你的回测曲线变得好看。你以为那是策略有效其实是数据在骗你然后你开始调参越调越离谱最后在给数据错误配参数。坑二维护是永无止境的。 反爬会升级、接口会变、财报字段会调整、除权除息规则要手动补。自建的成本从来不是「写爬虫那两周」而是之后每一天的持续性消耗。机构有专人干这个个人只有晚上那点时间——数据管道会悄悄吃光它。坑三单人系统没有兜底。 机构的数据管道有 review、有测试、有告警出错了有人发现有人修。个人一个人写、一个人测、一个人上线规则写错了没人拦你静默出错了没人提醒你。单点故障不是概率问题是时间问题。还要澄清一句用现成源不是不用懂数据——复权、幸存者偏差这些坑你依然要知道它们在哪才判断得了数据对不对。现成源替你省掉的是踩坑的过程不是认知。数据源怎么选标准是赚得回来那数据源到底买不买、买哪种先别急着看功能表我的标准很简单这笔钱你有没有能力赚回来。起步阶段免费源akshare、baostock完全够用但要心里有数它们本质是社区维护的爬虫接口变动频繁、字段质量参差。用它们不是零风险只是把维护外包给了社区而社区不保证可用性。Tushare Pro 一年 500 块对做日线策略的个人已经很够。500 块是什么概念如果策略真的有效哪怕只带来 0.1% 的年化提升十万元本金一年就是 100 块——数据费是你账本里小到不该成为决策变量的那行。如果不追求数据及时性还有更省的办法几块钱搞个共享账号把历史数据一次性下载到本地慢慢研究。这依然是「用现成源」——你只是把在线订阅换成了本地快照清洗和复权逻辑自己留着该怎么做研究还怎么做。这不违背前面的原则你没有花时间维护管道只是把数据拿到了手。花钱还是省钱不用纠结功能表和数据精度只问一句这笔钱你的策略赚得回来吗赚得回来买赚不回来那问题的核心也不是数据费——省下这点钱救不回一个没有 alpha 的策略。什么时候自建才是合理的数据源不是绝对不能自建它只在边界上成立商业源覆盖不到的数据比如大宗交易逐笔明细、某些另类数据买不到就自己搞个性化加工的数据比如你自己设计的因子、衍生指标——这不叫自建数据源叫自建特征工程该做而且必须自己做纯粹想学技术那完全可以但要认清这是在为学习付费不是为省钱更不是为策略。判断标准就一条如果自建是为了「数据更可靠」多半会失望如果是为了「拿到商业源没有的东西」才真正成立。把时间还给循环个人量化的胜负手是「找因子→调策略→严格执行」这个循环的转速。数据是水策略是鱼你要做的是用现成的干净水源尽快养出会游泳的鱼而不是先花两年亲手打一口井。数据重要所以更不该亲手去维护它。把维护交给成熟的数据源把时间留给自己——留给那个真正决定你收益的循环。至于高频、另类数据那是另一个故事那里「买不到」是常态自建才真正开始。但在日级别、标准数据的战场上把管道外包把时间留给循环是投入产出比最高的选择。
)
