金融Agent数据源整合与清洗实战

📚 共计 30 章节

金融Agent概述

什么是金融Agent · 核心能力 · 数据源角色

数据源分类与识别

结构化/半结构化/非结构化 · 数据库 · CSV · JSON · PDF

API数据源接入

RESTful API · 鉴权方式 · 限流与重试

数据库数据源连接

MySQL · PostgreSQL · SQL查询 · 连接池

数据库连接

CSV与Excel文件读取

Pandas读取 · 编码问题 · 多Sheet读取

JSON与XML数据解析

JSON路径提取 · XML树形解析 · 嵌套展平

PDF与图片数据提取

PyMuPDF · OCR(Tesseract) · 表格识别

网页数据抓取

Requests · BeautifulSoup · Selenium动态页面

实时数据流接入

WebSocket · Kafka · 数据缓冲策略

数据质量评估

完整性 · 准确性 · 一致性 · 时效性

缺失值处理

删除 · 均值/中位数填充 · 前向/后向 · 模型预测

异常值检测与处理

Z-Score · IQR · DBSCAN · 截尾缩尾

重复数据去重

列重复检测 · 模糊匹配(Levenshtein) · 业务规则

数据类型转换

字符串转日期 · 货币转浮点 · 时区统一

文本数据清洗

去除HTML标签 · 特殊字符 · 大小写 · 停用词

中文分词与实体识别

Jieba分词 · 自定义词典 · NER入门

日期与时间数据处理

日期统一 · 时间序列重采样 · 交易日历

时间重采样

数据标准化与归一化

Min-Max · Z-Score · Robust标准化

标准化归一化

多数据源合并

横向Join · 纵向Union · 键冲突处理

数据脱敏与隐私保护

敏感字段识别 · 数据掩码 · 差分隐私

数据版本控制

DVC基础 · 数据快照 · 回滚与对比

数据管道构建

Airflow DAG · 任务依赖 · 调度监控

数据清洗自动化

Python脚本封装 · 配置文件 · 日志告警

自动化脚本

数据存储与索引

Parquet · 列式存储 · 分区分桶

数据血缘与元数据管理

血缘追踪 · 元数据采集 · 数据字典

血缘元数据

金融数据特有清洗

股票代码统一 · 复权 · 财报对齐

舆情数据清洗

情感分析预处理 · 去噪 · 事件抽取

高频数据清洗

Tick去重 · 时间对齐 · 价差过滤

数据清洗性能优化

Pandas向量化 · Dask并行 · 内存管理

综合实战：金融Agent数据管道

多源接入 → 清洗入库 · 完整闭环

实战全流程