第3章感知模块设计

3. 感知模块设计：环境感知、输入解析、多模态信息处理

好，咱们今天聊聊Agent的“眼睛”和“耳朵”——感知模块。

我刚开始做Agent时，总觉得感知不就是接收数据嘛，有啥难的？后来被现实狠狠教育了一顿。你想想看，一个Agent如果连外界信息都搞不清楚，后面的推理和行动全是白搭。说白了，感知模块就是Agent的信息入口，它决定了Agent能看到什么、听到什么、理解什么。

3.1 环境感知：Agent的“感官”系统

环境感知，就是Agent从外部世界获取原始数据的过程。我个人习惯把它分成三类：

结构化环境：比如数据库、API返回的JSON、配置文件。这类数据规规矩矩，解析起来最省心。
半结构化环境：像HTML页面、日志文件、Markdown文档。有格式但不严格，需要一点“容错”能力。
非结构化环境：自然语言文本、图片、音频、视频。这是最头疼的，也是咱们这节课的重点。

我在项目中遇到过一个问题：Agent从网页抓取数据，结果页面结构变了，解析器直接崩了。嗯，这里要注意——环境感知一定要做异常兜底。你不能假设外部世界永远按你的规矩来。

避坑指南：我曾经因为没做环境感知的超时处理，导致Agent在等待一个慢响应时卡死了整个流程。后来我加了个“感知超时熔断”机制，超过2秒没响应就直接走降级策略。

3.2 输入解析：把“噪音”变成“信号”

拿到原始数据后，下一步就是解析。解析不是简单的格式转换，而是提取语义信息。

举个例子，用户说“帮我查一下明天北京的天气”。原始输入是一串字符，但Agent需要解析出：

意图：查询天气
实体：地点=北京，时间=明天
约束：无其他限制

我常用的解析流程是这样的：

# 伪代码，展示解析流程
class InputParser:
    def parse(self, raw_input):
        # 1. 格式校验
        if not self.validate(raw_input):
            raise ParseError("输入格式不合法")
        
        # 2. 意图识别
        intent = self.intent_classifier(raw_input)
        
        # 3. 实体抽取
        entities = self.entity_extractor(raw_input)
        
        # 4. 结构化输出
        return {
            "intent": intent,
            "entities": entities,
            "raw": raw_input
        }

你可能会问：为什么不用一个正则表达式搞定？嗯，正则只能处理固定模式。真实场景里，用户可能说“北京明天天气咋样”、“明天北京会不会下雨”，甚至“帮我看看明天北京适合出门不”。这些变体，正则搞不定。

我的经验：输入解析这块，我建议用“规则+模型”的混合策略。简单场景用规则（快、准），复杂场景用模型（灵活、泛化）。别一上来就上大模型，杀鸡用牛刀。

3.3 多模态信息处理：文本、图像、音频

现在的Agent不能只处理文本了。用户可能发一张截图、一段语音，甚至一个视频。多模态处理，说白了就是让Agent能理解不同形式的信息。

3.3.1 文本处理

文本是最常见的模态。我一般分三步走：

清洗：去掉乱码、HTML标签、多余空格
分词/分句：中文用jieba或LAC，英文用spaCy
语义编码：转成向量，方便后续检索或推理

3.3.2 图像处理

图像处理的核心是提取视觉信息。比如用户上传了一张菜单照片，Agent需要识别出菜品名称和价格。

我常用的方案：

OCR：提取图片中的文字（PaddleOCR、Tesseract）
目标检测：定位图片中的物体（YOLO、Faster R-CNN）
图像描述：生成图片的文字描述（BLIP、GIT）

  注意：图像处理很吃资源。我曾经在一个边缘设备上跑YOLO，结果推理延迟高达3秒。后来换成了轻量级模型MobileNet，延迟降到200ms。选模型时一定要考虑部署环境。

3.3.3 音频处理

音频处理主要做两件事：

语音转文字（ASR）：把语音变成文本，再用文本处理流程
声纹识别：识别说话人身份（比如区分“用户A”和“用户B”）

我建议ASR用流式处理，别等用户说完再转。用户说一句，Agent转一句，这样响应更快。

3.4 感知模块的接口规范

接口规范这事，我吃过不少亏。早期项目里，感知模块的输出格式三天两头变，下游模块跟着改，改到崩溃。后来我定了一套统一接口规范，谁都不许乱改。

下面是我常用的接口定义：

{
  "status": "success",          // 感知状态：success | partial | failed
  "modality": "text",           // 模态类型：text | image | audio | multi
  "timestamp": 1700000000,      // 感知时间戳
  "content": {
    "raw": "原始输入内容",       // 保留原始数据，方便调试
    "parsed": {                 // 解析后的结构化数据
      "intent": "query_weather",
      "entities": {
        "location": "北京",
        "date": "2024-11-15"
      }
    },
    "embeddings": [0.1, 0.2, ...]  // 语义向量（可选）
  },
  "confidence": 0.95,           // 感知置信度
  "errors": []                  // 错误信息列表
}

接口设计原则：
1. 自描述：看到字段名就知道含义
2. 可扩展：加字段不影响旧版本
3. 容错：即使部分解析失败，也要返回已成功的内容
4. 可追溯：保留原始输入，方便排查问题

3.5 知识体系总览

下面这张图，是我对感知模块的整体理解。你可以把它当作一个“地图”，随时回来对照。

这张图展示了感知模块的完整链路：从环境感知获取原始数据，经过输入解析提取结构化信息，再到多模态处理应对不同数据类型，最后通过统一接口规范输出给下游模块。每一步都有坑，每一步也都有优化空间。

  核心要点回顾：

  • 环境感知要区分结构化、半结构化、非结构化数据，分别处理

  • 输入解析的核心是意图识别和实体抽取，规则+模型混合策略最实用

  • 多模态处理要关注资源消耗，选模型时考虑部署环境

  • 接口规范是团队协作的基石，一定要提前定好

好了，感知模块就聊到这儿。下一节咱们会讲记忆模块——Agent怎么记住它看到的东西。不过那是后话了，先把今天的内容消化掉。

公众号:蓝海资料掘金营，微信deep3321

📚 课程目录

3. 感知模块设计：环境感知、输入解析、多模态信息处理

3.1 环境感知：Agent的“感官”系统

3.2 输入解析：把“噪音”变成“信号”

3.3 多模态信息处理：文本、图像、音频

3.3.1 文本处理

3.3.2 图像处理

3.3.3 音频处理

3.4 感知模块的接口规范

3.5 知识体系总览