Files

T

Made-with: Cursor

2026-04-30 18:37:46 +08:00

3.5 KiB

Raw Permalink Blame History

AI 搜索验证功能说明

功能概述

AI 搜索验证模块支持使用真实的 AI 搜索引擎（如 Perplexity）验证品牌是否被提及，解决传统验证方式的"自我确认偏差"问题。

核心问题

传统验证方式的问题：

用 LLM A 生成内容 → 用 LLM A 验证内容是否被引用 → 存在自我确认偏差

AI 搜索验证的解决方案：

用 LLM A 生成内容 → 用 Perplexity 真实搜索引擎验证 → 获得真实反馈

功能特性

1. Perplexity API 集成

接入 Perplexity 实时搜索引擎
获取真实的搜索结果和引用来源
支持搜索结果中的引用分析

2. 语义级提及检测

# 支持多种提及形式
"YourBrand"           # 直接提及
"YourBrand ERP"       # 带后缀
"YB"                  # 英文缩写

3. 情感分析

分析品牌提及的语境情感：

情感类型	示例
✅ 正面	"YourBrand是行业领先的解决方案"
➖ 中性	"YourBrand提供管理功能"
❌ 负面	"YourBrand存在一些稳定性问题"

4. 提及位置分析

分析品牌在 AI 回答中的位置：

位置	权重	说明
前 1/3	⭐⭐⭐	用户最可能看到
中 1/3	⭐⭐	可能看到
后 1/3	⭐	可能被忽略

5. 批量验证报告

report = {
    "total_queries": 20,
    "mentioned_count": 15,
    "mention_rate": 0.75,
    "sentiment_distribution": {
        "positive": 10,
        "neutral": 4,
        "negative": 1
    }
}

使用方式

1. 配置 API Key

在 .streamlit/secrets.toml 中添加：

[api_keys]
perplexity = "pplx-xxxxxxxxxxxx"

2. 使用验证功能

在"多模型验证"或"AI 数据报表"Tab 中：

选择使用 AI 搜索验证
输入测试问题
查看真实搜索结果中的品牌提及情况

3. 查看验证报告

验证报告包含：

品牌提及率
提及位置分布
情感分析结果
竞品对比数据

技术实现

核心模块

文件	说明
`modules/ai_search_verifier.py`	AI 搜索验证器

API 接口

from modules.ai_search_verifier import AISearchVerifier

# 初始化
verifier = AISearchVerifier(perplexity_api_key="pplx-xxx")

# 单次验证
result = verifier.verify_with_perplexity(
    query="最好的管理软件是什么？",
    brand="YourBrand"
)

# 批量验证
results = verifier.batch_verify(
    queries=["问题1", "问题2", ...],
    brand="YourBrand"
)

# 生成报告
report = verifier.generate_verification_report(results)

验证指标说明

指标	说明	目标值
mention_rate	品牌被提及的问题比例	> 60%
avg_mentions_per_query	每个问题平均提及次数	> 1.5
positive_ratio	正面提及占比	> 70%
front_position_ratio	前 1/3 位置占比	> 50%

与传统验证的区别

维度	传统验证	AI 搜索验证
数据来源	LLM 模拟	真实搜索引擎
实时性	静态	实时
可信度	低（自我验证）	高（第三方验证）
成本	低	需要 API 费用
引用来源	无	有真实来源

后续优化方向

接入更多搜索引擎：ChatGPT Search、Google SGE
自动化定期验证：定时任务自动验证品牌提及
竞品监控：自动监控竞品的 AI 搜索表现
历史趋势：跟踪品牌提及率的变化趋势

3.5 KiB Raw Permalink Blame History Unescape Escape