Skip to content

数据整理 ​

本地商品(物料)、客户、供应商资料由不同的人在不同时间录入,难免出现重复(「蓝牙耳机 TWS 黑色」和「TWS 蓝牙耳机(黑)」是同一个商品)、写法不统一(全角半角、大小写、PCS 和「个」混用)、分类或单位为空等问题。数据整理由程序先找出疑似重复的候选,再交给 AI 判断,并给出名称、规格、分类、单位等字段的规范化建议,你逐条或批量采纳或忽略。

AI 只生成建议,采纳前不会修改任何数据。采纳时与手工修改资料走同样的校验,并记入变更历史;疑似重复的记录只建议停用,不会自动合并(合并涉及大量业务引用;确认重复的客户、供应商可以在资料列表中用「合并到…」手工合并,见客户、供应商)。

页面入口 ​

智能 → 数据整理

管理员还没有配置大模型或没有开启「数据整理」时,页面显示「数据整理尚未开启」和相应说明,有 AI 设置权限的用户可以点「前往 AI 设置」。

数据整理尚未开启

开启后的页面:左侧为「整理任务」列表(数据类型、状态、范围关键字、发起时间和发起人,右上角可刷新);右侧上方是发起整理的工具栏,下方是当前任务的进度、统计和建议。

能整理哪些资料 ​

数据类型查看 / 采纳需要的权限AI 可以建议修改的字段发给 AI 分析的字段
物料(本地商品)商品管理 → 本地商品的查看 / 修改名称、规格型号、分类(只能是未停用的物料分类,候选值按完整路径提供给 AI)、计量单位编码、名称、规格、分类、单位、条码。只分析启用的物料,不含多规格物料的 SKU
客户客户查看 / 修改名称、联系人、地址编码、名称、联系人、地址、税号(税号只用于查重)。只分析启用的客户
供应商供应商查看 / 修改名称、联系人、地址同客户

电话、邮箱、银行账号、信用额度等不会发送给模型,也不会被修改。「选择数据类型」中只出现你有查看权限的类型。

发起整理 ​

  1. 在「选择数据类型」中选择物料、客户或供应商。
  2. 可以在关键字框中填写编码或名称关键字(可选,留空整理全部),只整理匹配的记录。
  3. 点「开始整理」,提示「已开始整理,可以离开此页面,稍后回来查看结果」。

整理在后台进行,可以离开页面。进行中的任务显示进度条和当前阶段:「正在读取记录」→「正在判断疑似重复」→「正在生成规范化建议」→「已结束」,页面每 2 秒自动刷新;需要中止时点「取消任务」,确认「取消正在进行的整理?已生成的建议会保留」。

任务卡片中的统计:

统计说明
分析记录本次读取的记录数。一次最多 2000 条,超出时提示「记录较多,只分析了前 N 条,可以按关键字分批整理」
疑似重复组程序找出的候选组数
建议停用AI 确认重复、建议停用的记录数
规范化建议字段修改建议数
缺失字段分类、单位、联系人、地址为空的提示数
消耗 token本次任务的用量

AI 某一步的输出不合格时会跳过,个别建议没有通过校验时会丢弃,页面提示「有 N 步 AI 输出不合格已跳过,M 条建议未通过校验已丢弃」。任务失败时显示失败原因(如额度不足、无法连接),已生成的建议保留。

提示

  • 同一数据类型同一时间只能有一个进行中的任务,再发起时提示「「…」已有进行中的整理任务,请等待完成或取消后再发起」。服务重启等原因中断超过 30 分钟的任务会自动结束(「任务已中断(服务重启或长时间没有进展)」),可以重新发起。
  • 资料很多时,按分类或名称关键字分批整理,结果更准确,也便于逐批处理。

整理是怎样进行的 ​

  1. 找疑似重复(程序计算,不调用 AI):把名称和规格统一全角半角、大小写、乘号(×、*)、常见单位写法(毫米 → mm),去掉空格、括号、公司后缀(有限公司、Co., Ltd.)等后比较;规范化后相同的、税号相同的归为一组;其余要求其中的数字完全相同(M6x20 与 M6x25 不算候选),再按文字相似度分组。每组最多 20 条,最多 100 组。
  2. AI 判断重复:逐组判断是否真的指同一个物品或同一家单位。只是写法不同(全角半角、空格、大小写、符号、简称、公司后缀)的算重复;型号、尺寸、材质、颜色、等级等关键参数不同的不算,不确定时判为不重复。重复的给出建议保留的一条(信息更完整、写法更规范、编码更早的优先)和建议停用的记录。
  3. AI 生成规范化建议:每次把 40 条相近的记录交给 AI,按这批记录中的主流写法统一名称、规格;分类为空或明显分错时建议分类;计量单位写法不统一时统一为最常用的写法。AI 被要求不改变含义、不编造记录中没有的信息(如不猜测规格、联系人、地址)。
  4. 缺失字段提示:可修改的分类、单位、联系人、地址为空且 AI 没有给出建议的,生成「缺失字段」提示。
  5. 校验:每条建议都会检查——字段允许修改、值不为空且不超长、与原值不同、物料分类必须是未停用的分类,不合格的丢弃。

处理建议 ​

结果分「疑似重复」「规范化建议」两个页签,页签上的数字是待处理的条数。

疑似重复 ​

列表按组显示:组号、建议停用(名称和编码)、建议保留(带绿色对勾)、理由、置信度、状态、操作。

  • 点操作栏的「停用」图标,确认「停用「…」?不会合并业务数据,停用后不能再用于新单据」后,停用这条重复记录。
  • 点「忽略」图标表示不是重复或暂不处理。

规范化建议 ​

列表列:记录(名称和编码)、字段(名称 / 规格型号 / 分类 / 计量单位 / 联系人 / 地址)、原值 → 建议值(原值为空时显示「(空)」,分类显示完整路径)、理由、置信度、状态、操作。

  • 点操作栏的「采纳」图标按建议值修改资料,「忽略」图标不处理。
  • 「缺失字段」行显示「缺少…,请到资料页面补充」,只能忽略,需要到物料、客户、供应商页面手工补充。

筛选与批量处理 ​

  • 筛选:状态(待处理 / 已采纳 / 已忽略)、置信度(≥ 90% / ≥ 80% / ≥ 60%)、记录编码或名称;规范化页签还可以按种类(规范化与缺失字段 / 规范化 / 缺失字段)和字段筛选。
  • 置信度按颜色区分:80% 及以上为高,50% ~ 79% 为中,50% 以下为低。建议先筛选高置信度的建议批量处理,再逐条查看低置信度的。
  • 勾选多条后点「批量采纳」(确认「采纳选中的 N 条建议?」)或「批量忽略」,一次最多 200 条。批量采纳逐条执行,一条失败不影响其他,完成后显示「成功 N 条,失败 M 条」并列出失败原因。
  • 已处理的建议鼠标移到状态上可以看到处理人和时间。

只有拥有「采纳整理建议」按钮权限和对应资料修改权限的用户才能看到勾选框和操作按钮;其他用户只能查看建议。

对业务数据的影响 ​

  • 采纳规范化建议 = 在资料页面手工修改对应字段:经过同样的校验(如字段长度、物料分类是否可选用),记入资料的变更历史。不允许改成与其他启用记录重名(物料为名称 + 规格相同,客户 / 供应商为名称相同)。已经开出的单据上的名称不变。
  • 停用重复记录 = 在资料页面把状态改为停用:历史单据仍然引用原记录,不会合并库存、往来、订单等业务数据;停用后不能再用于新单据。需要合并历史数据时请在业务上单独处理。
  • 建议过期:生成建议后记录又被人修改过的,采纳时提示「记录在生成建议之后已被修改,建议已过期,请重新整理」,不会覆盖别人的修改。
  • 已处理的建议再次操作时提示「建议已处理过,请刷新」。

注意

  • 采纳前请核对建议值,特别是名称和规格的修改会影响打印、报表和搜索。
  • 停用物料前确认没有未完成的订单、在线商品配对还要使用它;停用后可以在本地商品页面重新启用。
  • 整理任务发送的字段见上表,会发送给所配置的模型服务。

Excel 导入时的 AI 对应字段 ​

在本地商品、客户、供应商、在线商品等页面导入 Excel 时,如果上传文件的表头与导入模板不一致(有模板中没有的列,且有模板字段找不到对应列),导入对话框中显示黄色提示「表头与模板不一致?」和「AI 对应字段」按钮(管理员开启了「数据整理」,并且你有「数据整理」菜单的权限时显示;这个功能会消耗 AI 用量,没有权限的用户看不到)。

  1. 点「AI 对应字段」,显示「AI 正在对应字段…」。表头与模板名称一致的列直接对应,不调用 AI。
  2. 在「核对字段对应」中逐列查看:Excel 列、样例、对应的模板字段。可以改为其他字段或「不导入」。没有对应的列不会导入。
  3. 必填字段没有对应的列时提示「必填字段没有对应的列:…」;一个字段对应了多列时提示「「…」对应了多列,请调整」。
  4. 点「应用并继续」,提示「已按对应关系读取数据」,之后按原来的流程检查和导入。

只有表头和前 3 行样例会发送给模型。导入本身仍按导入页面的权限和校验执行,用量记在「数据整理」下。

面向跨境电商卖家的开源 ERP · 基于 GPL-3.0 协议
联系我们:电话 17701123202 · 微信 BG7LIF · 邮箱 zmissu@163.com