Tick数据去重与排序算法实现

📚 共计 30 章节
01
Tick数据基础
Tick数据定义 · 量化交易重要性 · 与K线区别
概念入门
02
Tick数据获取
交易所 · 数据供应商 · 本地文件格式
采集
03
Tick数据结构
时间戳 · 价格 · 成交量 · 买卖盘口 · 标识符
字段解析
04
Tick数据存储
CSV · Parquet · HDF5 · 数据库存储
格式持久化
05
Tick数据读取
Pandas · PyArrow · 高效读取大文件
IO性能
06
Tick数据清洗
缺失值 · 异常值 · 价格跳空 · 成交量异常
预处理质量
07
Tick数据去重原理
重复原因 · 重复类型 · 核心思想
理论去重
08
基于时间戳的去重
精确去重 · 容差去重 · 对齐去重
时间策略
09
基于哈希的去重
哈希函数 · 冲突处理 · 布隆过滤器
哈希概率
10
基于排序的去重
相邻去重 · 分组去重 · 滑动窗口去重
排序相邻
11
去重算法性能对比
时间复杂度 · 空间复杂度 · 实际测试
评估对比
12
去重算法实现一
Pandas drop_duplicates 方法
Pandas实现
13
去重算法实现二
Numpy unique 方法
Numpy实现
14
去重算法实现三
Python 集合去重
set实现
15
去重算法实现四
基于字典的去重
dict实现
16
去重算法实现五
排序+二分查找去重
二分实现
17
去重算法实现六
布隆过滤器大规模去重
Bloom大规模
18
Tick数据排序原理
必要性 · 稳定性 · 复杂度
排序基础
19
排序算法基础
冒泡 · 插入 · 选择排序在Tick应用
经典O(n²)
20
高效排序算法
快速 · 归并 · 堆排序在Tick应用
分治O(nlogn)
21
外部排序
内存不足时的排序策略
外存大文件
22
基于时间戳的排序
时区处理 · 稳定性 · 注意事项
时间时区
23
多字段排序
时间戳+价格 · 时间戳+成交量 · 复合排序
复合多键
24
排序算法实现一
Pandas sort_values 方法
Pandas实现
25
排序算法实现二
Numpy argsort 方法
Numpy实现
26
排序算法实现三
Python 内置 sorted 函数
内置实现
27
排序算法实现四
自定义比较器排序
cmp实现
28
去重与排序结合
先排序后去重 · 先去重后排序 · 并行策略
结合策略
29
性能优化
内存优化 · 并行计算 · 流式处理 · 增量更新
优化加速
30
实战案例
构建完整Tick去重与排序系统
项目综合