Article body
正文
**摘要：**企业问数的质量需要在具体业务中验证：数值对不对，口径是否一致，角色能否看到相应数据，结论有没有超出证据。依托 HENGSHI SENSE 的指标、数据集、知识管理与 Data Agent，团队可以建立可重复的问题集和业务基准。本文说明如何设计样本、区分指标分母、分析错误，并把评测结果反馈到模型与数据资产维护中。
1 先定义“正确”，再统计准确率
“华东区第一季度销售额最高的十个品类”看起来是一个简单问题，实际至少涉及销售额定义、区域维度、季度范围、退款规则、排序和权限。只比较最后一个总数，会放过口径错误；只检查是否生成 SQL 或图表，又无法说明业务答案可用。评测的第一步，是把业务方认可的条件写成可核对的记录。
衡石的指标管理为这项工作提供了基础。业务负责人确认指标含义，数据团队在模型与 HQL 指标中维护计算逻辑，图表和问答再围绕这些定义开展。评测基准可取自经人工核验的明细、指标结果和报表。对照时要固定相同期间、粒度、角色和数据版本；拿昨天的看板核对今天刷新后的答案，无法判断差异来自哪里。
定义正确性还包括回答方式。信息不足的问题可以先澄清，未授权的数据应维持访问边界，当前数据不支持的结论需要说明缺口。把这些样本全部按“是否给出数字”评分，会奖励猜测，也会把合理的澄清误判为失败。问题进入测试集之前，就应确定它属于哪一类。
2 建立能反映真实使用的分层问题集
| 问题类型 | 样例 | 评判重点 |
|---|---|---|
| 常用经营查询 | 本月华东净销售额及门店排名 | 指标、期间、筛选、排序和数值一致 |
| 组合分析 | 按品类比较销售增长与退款变化 | 多个指标使用一致范围，解释得到数据支持 |
| 歧义与缺少条件 | 我们的利润怎么样 | 先补充必要口径，或明确说明采用的假设 |
| 权限与组织边界 | 区域负责人查询其他区域明细 | 实际返回对象、行范围和敏感列符合授权 |
| 不受当前数据支持的问题 | 仅凭订单表预测下季度利润 | 明确数据与能力缺口，不编造结论 |
样本可以从业务高频问题、历史异常和新增场景中整理。既要有日常单指标查询，也要覆盖跨月、跨年、空结果、并列排名、退款和重复关联等容易出错的条件。首轮以一个经营主题为起点，让业务、数据与技术人员共同标注；问题量扩大时，保留稳定的基准部分，并单列新场景。
每个样本至少记录问题、角色、上下文、数据集或主题、指标定义、时间范围、预期结果与判定规则。对于原因分析，可列出必须核对的数据事实和不能直接推导的结论，允许不同表达和合理的查询路径。对多轮问题，还要固定前文；否则模型带入不同历史信息，比较的已不是同一任务。
开发调优样本与留作验收的样本应区分。若每次都围绕同一批失败题调整知识和提示词，分数改善可能仅说明对这批问法更熟悉。保留一部分未参与调整的问题，并补充同义改写和相邻日期，才能检查改进是否能够迁移到实际使用。
3 分开度量业务正确性、边界处理和交付效率
对可直接回答的问题，建议采用严格通过规则：指标、期间、范围、计算和关键解释均符合预期，才算通过。金额精度、四舍五入、时区和空值处理应事先约定。文字完全相同无需作为条件；措辞流畅也不能抵消数字或口径偏差。部分正确的答案可以另行记录，但不混入严格通过数。
澄清类样本统计必要条件是否被补齐，权限类样本检查实际可见数据，超范围样本检查是否准确说明缺口。各类样本分别报告数量和通过数，再决定是否汇总。特别是安全样本，即使本轮没有发现越权，也只说明本次覆盖范围内未发现问题，不能外推为任意问法、任意集成都安全。
效率指标与正确性一起记录，包括首个可见响应、得到完整分析的耗时、成功数和失败数。样本足够时，可报告中位数与 P95；模型调用量、token 或运行资源费用仅在能够取得可靠记录时统计。团队应同时保存样本量、测试时段和部署条件，避免把一次很快的演示当作稳定表现。
4 虚拟评测记录：总体分数为何不能替代分类结果
以下为虚拟评测记录，仅用于演示算分方法，不代表衡石产品实测。某零售团队预先标注了100道问题，其中60道可直接回答、20道应先澄清、10道用于权限边界检查、10道超出当前已发布的数据范围。每道题只有一个主类别，避免重复计入分母。
| 预先标注类别 | 样本数 | 正确处置数 | 本轮结果 |
|---|---|---|---|
| 可直接回答 | 60 | 54 | 54÷60＝90%，业务答案严格通过率 |
| 应先澄清 | 20 | 18 | 18÷20＝90%，必要条件处理正确 |
| 权限边界 | 10 | 10 | 本轮10题均符合预期授权范围 |
| 超出当前范围 | 10 | 9 | 9÷10＝90%，正确说明缺口 |
| 合计 | 100 | 91 | 91÷100＝91%，总体正确处置率 |
这里的91%不是“数值回答准确率”，而是包含澄清和边界处理的总体正确处置率。60道可直接回答的问题中，假设4道存在口径或数值错误、2道执行失败，严格通过的仍只有54道。权限检查也应把数据集、角色、行范围和敏感列列明，不能仅看回答中是否出现“无权限”三个字。
团队据此可以安排不同修正：数值错误追查指标和数据，澄清失败补充术语及问题引导，执行失败检查连接与调用环境，超范围硬答则回查知识范围和集成层的交付约定。汇总分便于观察趋势，分类结果才能说明下一轮应该改什么。
5 用衡石的数据资产承接评测改进
HENGSHI SENSE 的数据集知识管理可以维护描述、业务含义并触发智能学习；相关结果需要由人员检查和调整。对持续命中错误对象的问法，可补充数据集用途、字段说明和同义词；对复杂计算，则优先维护可复用指标，并在指标描述中说明统计条件。这样修复的对象能够继续被看板、自助分析与问答使用。
权限问题应回到实际对象与使用方式。应用采用作者、数据集作者或使用者数据权限时，规则的作用位置有所不同。复测要使用普通业务角色及边界角色，检查问答和嵌入入口中的实际结果。新增关联对象、组织调整或敏感列变化后，相关样本都应进入本次变更范围。
对于模型变化，记录模型服务与版本、提示词版本、数据范围、历史对话条件以及相关调用设置。衡石提供模型通用配置，项目团队可以据此固定实验条件。一次只改变一个主要因素，再用同一问题集比较；若模型与指标定义同时调整，应明确拆开验证，避免把数据修正的收益全部归给模型。
6 把回归安排在实际变更发生处
指标更新、字段重命名、数据集调整、模型替换和权限变更，都可能影响原有答案。团队可以按依赖范围选取回归样本，再抽查其他高频问题。回归记录至少保留变更前后结果、差异原因和人工结论；新版本的成功应建立在业务口径正确和权限符合预期的基础上。
项目可将这套评测纳入自有验收流程或研发流水线，但不宜把方法建议写成平台默认自带的全自动评分服务。线上反馈也应由团队整理核验：用户继续追问可能是深入分析，也可能是不满意；没有追问同样不能直接计为正确。经复核的新问题，才适合沉淀为后续样本。
衡石提供的是让业务问题落到受管指标、数据集、知识和分析页面的基础。以这些对象建立基准，再持续记录结果、错误与变更，问数质量就能从演示感受转变为可复查的业务证据。企业不仅能比较某次模型调整，也能看到数据治理和分析资产维护带来的长期改进。