附录 B：评估指标速查

本章整理常用评估指标的定义、计算方法和适用场景。

文本生成指标

BLEU (Bilingual Evaluation Understudy)

用途：机器翻译、文本生成质量评估

公式： $$BLEU=BP\cdot \exp \left(\sum _{n=1}^N{w}_n\log p_n\right)$$

其中：

• $p_n$：n-gram精确率
• $BP$：短句惩罚因子
• $w_n$：权重（通常均匀）

取值范围：0-1（越高越好）

适用：有参考答案的生成任务

from nltk.translate.bleu_score import sentence_bleu

reference = [['this', 'is', 'a', 'test']]
candidate = ['this', 'is', 'a', 'test']
score = sentence_bleu(reference, candidate)

ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

用途：文本摘要评估

变体：

取值范围：0-1（越高越好）

from rouge import Rouge

rouge = Rouge()
scores = rouge.get_scores("this is a test", "this is test")

BERTScore

用途：语义相似度评估

原理：使用BERT embedding计算token级别的语义匹配

取值范围：0-1（越高越好）

from bert_score import score

P, R, F1 = score([candidate], [reference], lang="zh")

检索指标

Recall@K

用途：检索召回率

公式： $$Recall@K=\frac{|R_{hit}\cap R_{total}|}{|R_{total}|}$$

取值范围：0-1（越高越好）

MRR (Mean Reciprocal Rank)

用途：排序质量

公式： $$MRR=\frac{1}{|Q|}\sum _{i=1}^{|Q|}\frac{1}{ran{k}_i}$$

取值范围：0-1（越高越好）

NDCG (Normalized Discounted Cumulative Gain)

用途：排序质量综合评估

公式： $$NDCG@K=\frac{DCG@K}{IDCG@K}=\frac{{\sum }_{i=1}^K\frac{re{l}_i}{{\log }_2(i+1)}}{{\sum }_{i=1}^K\frac{re{l}_i^{ideal}}{{\log }_2(i+1)}}$$

取值范围：0-1（越高越好）

分类指标

Accuracy

用途：分类正确率

公式： $$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$$

F1 Score

用途：精确率和召回率调和平均

公式： $$F1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$$

Confusion Matrix

用途：分类错误分析

LLM 特有指标

G-Eval

用途：使用GPT-4评估生成质量

维度：

• Relevance（相关性）
• Coherence（连贯性）
• Fluency（流畅性）
• Consistency（一致性）

取值范围：1-10（越高越好）

Faithfulness

用途：RAG答案忠实度

公式： $$Faithfulness=\frac{\text{支持的事实陈述数}}{\text{总事实陈述数}}$$

取值范围：0-1（越高越好）

Context Relevance

用途：检索内容相关性

公式： $$ContextRelevance=\frac{1}{K}\sum _{i=1}^{K}Sim(Q,D_i)$$

取值范围：0-1（越高越好）

任务完成指标

Task Success Rate

用途：Agent任务完成率

公式： $$TaskSuccessRate=\frac{\text{成功完成任务数}}{\text{总任务数}}$$

Step Accuracy

用途：Agent步骤正确率

公式： $$StepAccuracy=\frac{\text{正确步骤数}}{\text{总步骤数}}$$

质量指标

Pass Rate

用途：通过率

公式： $$PassRate=\frac{\text{得分超过阈值的案例数}}{\text{总案例数}}$$

Score Distribution

用途：分析得分分布

统计量：

• Mean（均值）
• Median（中位数）
• Std（标准差）
• P95/P99（百分位数）

指标选择指南

阈值参考