CharleszZZ's recent timeline updates CharleszZZ's recent timeline updates |
CharleszZZV2EX member #595675, joined on 2022-09-29 13:47:54 +08:00 |
| [开源] CNEquity：自托管 A 股 Parquet 数据湖（日更 / PIT / 防幸存者偏差 / MCP） Python • CharleszZZ • Sep 24 • Lastly replied by CharleszZZ | 8 |
CharleszZZ's recent replies
Sep 24 Replied to a topic by CharleszZZ › Python › [开源] CNEquity：自托管 A 股 Parquet 数据湖（日更 / PIT / 防幸存者偏差 / MCP） |
@iorilu 不会找上来的，我觉得是 tdx 官方的默认行为，现在从 tdx 取数的方式基本上都是从之前泄漏协议的解析。
我之前也用过一些对 tdx 协议的包装项目，各有各的问题，所以我在 CNEquity 中直接重做了对协议源头的解码。
包括但不限于下面这些：
- 严格的数据校验，区分证券类型的价格标度，去除未知前缀
- 修复分笔解析器的缺陷
- 抓取策略上设置单页上限，验证过的数据不会因为错误被整段丢弃
- 强化取数效率，默认探测 16 台主机，8 路并行，同时设置限速尽量保证 IP 的安全（ tdx 也基本不封 ip ，非常友好）
我之前也用过一些对 tdx 协议的包装项目，各有各的问题，所以我在 CNEquity 中直接重做了对协议源头的解码。
包括但不限于下面这些：
- 严格的数据校验，区分证券类型的价格标度，去除未知前缀
- 修复分笔解析器的缺陷
- 抓取策略上设置单页上限，验证过的数据不会因为错误被整段丢弃
- 强化取数效率，默认探测 16 台主机，8 路并行，同时设置限速尽量保证 IP 的安全（ tdx 也基本不封 ip ，非常友好）
Sep 22 Replied to a topic by CharleszZZ › Python › [开源] CNEquity：自托管 A 股 Parquet 数据湖（日更 / PIT / 防幸存者偏差 / MCP） |
Sep 15 Replied to a topic by CharleszZZ › Python › [开源] CNEquity：自托管 A 股 Parquet 数据湖（日更 / PIT / 防幸存者偏差 / MCP） |
@Tathagatagarbha 谢谢支持！
Sep 15 Replied to a topic by CharleszZZ › Python › [开源] CNEquity：自托管 A 股 Parquet 数据湖（日更 / PIT / 防幸存者偏差 / MCP） |
@iorilu 日线、5 分钟线、1 分钟线、ticks 都有。
数据源用的基本都是公开免注册的，但是加了数据多源校验比对，还拉平了各个数据源间的不一致。
主要数据源：通达信协议、东方财富、新浪、巨潮、同花顺、交易所官网等。
谢谢支持😂
数据源用的基本都是公开免注册的，但是加了数据多源校验比对，还拉平了各个数据源间的不一致。
主要数据源：通达信协议、东方财富、新浪、巨潮、同花顺、交易所官网等。
谢谢支持😂
Select Language