另类数据整合分析方法论实战

📚 共计 30 章节
01
另类数据全景图
什么是另类数据?为什么它如此重要?与传统数据的核心区别。
概念基础
02
数据源探秘
卫星图像、社交媒体、电商评论、供应链数据、物联网传感器数据。
数据源多模态
03
数据采集实战
API调用、Web Scraping(爬虫)、数据购买与交换协议。
采集工程
04
数据清洗与预处理
处理缺失值、异常值、噪声数据,数据标准化与归一化。
清洗预处理
05
非结构化数据处理
文本数据(NLP基础)、图像数据(特征提取)、时间序列数据。
NLPCV时序
06
数据整合框架
ETL vs ELT,数据仓库与数据湖的选择,数据中台思想。
架构中台
07
特征工程
从另类数据中提取有效特征,特征选择与降维(PCA、t-SNE)。
特征降维
08
探索性数据分析(EDA)
可视化分析、相关性分析、分布检验。
EDA可视化
09
量化分析基础
统计检验、回归分析、时间序列模型(ARIMA、GARCH)。
统计时序
10
机器学习入门
监督学习(回归、分类)、无监督学习(聚类)。
ML监督聚类
11
深度学习应用
CNN用于图像数据,RNN/LSTM用于序列数据。
CNNRNNLSTM
12
自然语言处理(NLP)
情感分析、主题建模、命名实体识别。
NLP情感NER
13
金融领域应用
量化交易信号、风险管理、信用评估。
金融量化
14
零售领域应用
消费者洞察、库存预测、定价策略。
零售洞察
15
供应链领域应用
物流追踪、供应商风险评估、需求预测。
供应链风险
16
房地产领域应用
房价预测、区域发展分析、租金评估。
房地产预测
17
医疗健康领域应用
流行病预测、药物研发、患者行为分析。
医疗健康
18
数据质量与偏差管理
数据漂移、样本选择偏差、生存偏差。
质量偏差
19
数据隐私与合规
GDPR、CCPA、数据脱敏与匿名化技术。
隐私合规
20
数据治理
元数据管理、数据血缘、数据目录。
治理元数据
21
数据可视化与报告
Tableau/Power BI集成,动态仪表盘设计。
可视化BI
22
模型评估与验证
回测、交叉验证、过拟合与欠拟合处理。
评估验证
23
模型部署与监控
API部署、模型漂移监控、A/B测试。
部署监控
24
自动化数据管道
Airflow、Prefect、Kubeflow。
管道调度
25
云计算与大数据平台
AWS/Azure/GCP上的数据处理,Spark与Flink。
SparkFlink
26
实时数据处理
Kafka流处理、实时特征计算。
实时Kafka
27
案例实战:社交媒体情绪预测股票
基于社交媒体情绪预测股票走势(完整流程)。
实战金融NLP
28
案例实战:卫星图像评估客流量
利用卫星图像数据评估零售店客流量。
实战卫星CV
29
案例实战:供应链风险预警系统
构建供应链风险预警系统。
实战供应链
30
未来趋势
合成数据、联邦学习、因果推断在另类数据中的应用。
前沿趋势