第3章数据解析与格式转换

数据解析与格式转换：把“方言”翻译成“普通话”

做光谱分析，最头疼的事是什么？我个人觉得，不是算法有多难，而是数据格式太乱。你想想看，不同厂家、不同年代的仪器，输出的文件五花八门——CSV、TXT、.spc、.jdx……每个都像在说方言。

这一章，我们就来解决这个核心问题：把各种格式的光谱数据，统一解析成Pandas DataFrame。说白了，就是让所有数据都说同一种“普通话”。

核心目标：无论输入是什么格式，最终都得到一个结构统一的DataFrame，包含“波数/波长”和“吸光度/强度”两列核心数据。

3.1 读取CSV/TXT：最基础，也最坑

CSV和TXT是最常见的格式。但我在项目中遇到过，同一个实验室出来的CSV文件，分隔符居然有逗号、分号、制表符三种。嗯，这里要注意。

我的习惯是，先用pd.read_csv()的sep参数指定分隔符，再用header参数跳过无关行。

import pandas as pd

# 读取CSV，分隔符可能是逗号或制表符
df = pd.read_csv('sample.csv', sep=None, engine='python')

# 如果文件有表头，但前几行是注释
df = pd.read_csv('sample.csv', skiprows=2, header=0)

# 手动指定列名
df.columns = ['wavenumber', 'intensity']

我的小技巧：先用sep=None让pandas自动检测分隔符，成功率很高。如果不行，再用sep='\t'或sep=';'逐个试。

3.2 解析.spc文件：用specio库搞定

.spc文件是Thermo Scientific等仪器的原生格式。我第一次遇到时，差点被二进制结构搞疯。后来发现了specio这个库，简直救星。

安装很简单：pip install specio。解析代码也极其简洁：

import specio

# 读取.spc文件
spc_data = specio.read_spc('sample.spc')

# 查看数据结构
print(spc_data.keys())
# 通常包含：'x'（波数）, 'y'（强度）, 'metadata'（元数据）

# 转为DataFrame
df = pd.DataFrame({
    'wavenumber': spc_data['x'],
    'intensity': spc_data['y']
})

避坑指南：我曾经遇到一个.spc文件，解析出来波数顺序是反的（从高到低）。后来发现是仪器设置问题。建议解析后检查一下波数是否递增，必要时用df.sort_values('wavenumber')修正。

3.3 解析.jdx文件：JCAMP-DX格式的“温柔陷阱”

.jdx文件遵循JCAMP-DX标准，看起来是文本，但结构很灵活。我见过最离谱的——同一份.jdx文件，不同段落居然用了不同的分隔符。

解析.jdx，我推荐用jcamp库：

import jcamp

# 读取.jdx文件
jdx_data = jcamp.jcamp_read('sample.jdx')

# 提取光谱数据
x = jdx_data['x']  # 波数或波长
y = jdx_data['y']  # 强度

df = pd.DataFrame({
    'wavenumber': x,
    'intensity': y
})

为什么会这样？因为.jdx文件允许自定义数据格式。有的文件甚至把波数和强度放在同一行，用空格隔开。遇到这种情况，我建议先查看文件头部，找到##XYDATA=或##PEAK TABLE=标记，确认数据段位置。

3.4 统一格式：所有数据都变成DataFrame

好了，现在我们有三种格式的数据。怎么统一？我写了一个通用函数：

def load_spectrum(filepath):
    """
    统一加载光谱文件，返回标准DataFrame
    列名：'wavenumber', 'intensity'
    """
    ext = filepath.split('.')[-1].lower()
    
    if ext in ['csv', 'txt']:
        df = pd.read_csv(filepath, sep=None, engine='python')
        df.columns = ['wavenumber', 'intensity']
    elif ext == 'spc':
        data = specio.read_spc(filepath)
        df = pd.DataFrame({
            'wavenumber': data['x'],
            'intensity': data['y']
        })
    elif ext == 'jdx':
        data = jcamp.jcamp_read(filepath)
        df = pd.DataFrame({
            'wavenumber': data['x'],
            'intensity': data['y']
        })
    else:
        raise ValueError(f"不支持的文件格式: {ext}")
    
    # 确保波数递增
    df = df.sort_values('wavenumber').reset_index(drop=True)
    return df

关键点：统一后的DataFrame，必须包含wavenumber和intensity两列。波数列要严格递增，这是后续所有分析的基础。

3.5 处理缺失值与异常值：别让坏数据毁了分析

数据加载完了，你以为就万事大吉？我遇到过最坑的情况——光谱在某个波段突然出现NaN值，导致后续拟合直接崩溃。

我的处理流程分三步：

检查缺失值：用df.isnull().sum()快速定位
处理缺失值：少量缺失用插值，大量缺失直接删除该波段
检测异常值：用Z-score或IQR方法，标记强度异常的点

# 1. 检查缺失值
print(df.isnull().sum())

# 2. 插值填充（少量缺失）
df['intensity'] = df['intensity'].interpolate(method='linear')

# 3. 删除整行缺失（大量缺失）
df = df.dropna(subset=['intensity'])

# 4. 异常值检测（Z-score方法）
from scipy import stats
z_scores = np.abs(stats.zscore(df['intensity']))
df_clean = df[z_scores < 3]  # 保留Z-score小于3的数据

避坑指南：我曾经用插值处理了连续100个点的缺失值，结果插出来的曲线完全失真。后来我定了个规矩：连续缺失超过5个点，直接删除该波段，绝不强行插值。

3.6 本章知识体系图

下面这张图，概括了数据解析与格式转换的完整流程：

这张图把整个流程串起来了。你想想看，从左上角的CSV/TXT，到右上角的.jdx，不管输入是什么，最终都汇聚到中间的DataFrame，再经过清洗，输出干净的数据。这就是我们说的“统一普通话”。

我的经验：在实际项目中，我通常会把load_spectrum()函数封装成一个模块，放在项目根目录的utils/文件夹下。这样每个分析脚本都可以直接调用，省去重复写解析代码的时间。

好了，数据解析和格式转换就讲到这里。记住一句话：数据格式不统一，后续分析全白费。花10分钟把解析函数写好，能省下后面10小时的调试时间。

公众号:蓝海资料掘金营，微信deep3321

📚 课程目录

数据解析与格式转换：把“方言”翻译成“普通话”

3.1 读取CSV/TXT：最基础，也最坑

3.2 解析.spc文件：用specio库搞定

3.3 解析.jdx文件：JCAMP-DX格式的“温柔陷阱”

3.4 统一格式：所有数据都变成DataFrame

3.5 处理缺失值与异常值：别让坏数据毁了分析

3.6 本章知识体系图