数据清除

Odoo 数据清洗 应用通过以下功能维护数据的完整性和一致性:

  • 重复数据删除:合并或移除重复条目,以确保数据唯一。

  • 回收:识别过时记录,并将其存档或删除。

  • 格式化:按照指定需求查找并替换文本数据,实现文本数据标准化。

可自定义的规则确保文本数据保持最新、精简、格式一致,并符合公司特定的格式要求。

安装模块

数据清洗 应用由多个模块组成。安装 以下模块即可使用所有可用功能:

名称
技术名称

描述

数据回收
data_recycle

启用回收功能的基础模块,可在 Odoo 社区版 中使用。

数据清洗
data_cleaning

启用字段清洗功能,可跨多条记录格式化文本数据,仅 在 Odoo 企业版 中提供。

数据清洗(合并)
data_merge

启用重复数据删除功能,用于查找相似(或重复)记录并将其合并,仅 在 Odoo 企业版 中提供。

CRM 重复数据删除
data_merge_crm

在 CRM 应用中启用重复数据删除功能,并使用 CRM 默认合并功能。

服务台合并操作
data_merge_helpdesk

为 服务台 应用启用合并功能。

项目合并操作
data_merge_project

为 项目 应用启用合并功能。

UTM 重复数据删除
data_merge_utm

为 UTM 追踪器 应用启用合并功能。

WMS 会计合并
data_merge_stock_account

如果已安装 库存 应用,则在合并可能影响库存估值的产品时创建警告。

重复数据删除

重复项 仪表板将相似记录分组,以便进行 合并,其依据是 重复数据删除规则 所设定的记录内匹配条件。

前往 数据清洗应用 ‣ 重复数据删除 即可打开此仪表板。

数据清除应用中的重复数据删除仪表板。

规则 侧边栏列出每条已启用的重复数据删除规则,并在每条规则旁显示检测到的重复项总数。

默认情况下,选择 全部 规则。记录按其规则分组,带有 相似度 评分(满分 100%),并包含以下列:

  • 创建于:原始记录的创建日期和时间。

  • 名称:原始记录的名称或标题。

  • 字段值:原始记录中用于检测重复项的字段的值。

  • 用于:列出引用该原始记录的其他模型。

  • ID:原始记录的唯一 ID。

  • 是否主记录:重复记录会被合并到 主记录 中。一组相似记录中只能有 一个 主记录。

在 规则 侧边栏中选择特定规则,以筛选重复记录。

合并重复记录

要合并记录,首先在相似记录分组中选择一个 主记录。主记录作为基础,其他相似记录的附加信息都会合并到主记录中。

也可以不设置主记录,此时 Odoo 将随机选择一条记录进行合并。

接下来,点击相似记录分组顶部的 合并 按钮,然后点击 确定 以确认合并。

记录合并后,会在主记录的聊天区中记录一条描述合并情况的日志。某些记录(如 项目 任务)会在聊天区中连同旧记录的链接一起记录,作为合并操作的便捷参考。

小技巧

点击 丢弃 按钮可丢弃分组。执行后,该分组将从列表中隐藏并被归档。

通过在 搜索栏 中选择 已丢弃 筛选器,可查看被丢弃的分组。

重复数据删除规则

重复数据删除规则 设定记录被检测为重复项的条件。

这些规则可以针对数据库中的每个模型进行配置,并且具体程度可灵活设置。开始配置,请前往 数据清除应用 ‣ 配置 ‣ 重复数据删除。

小技巧

默认情况下,重复数据删除规则每天运行一次,作为计划操作 cron(Data Merge: Find Duplicate Records)的一部分。不过,每条规则都可以随时 手动运行。

修改重复数据删除规则

选择一条默认规则进行编辑,或点击 新建 按钮创建新规则。

首先,为此规则选择目标 模型。选择模型后,规则标题会更新为所选模型。

如有需要,可配置 域 以指定适用此规则的记录。符合条件的记录数显示在 # 条记录 链接中。

根据所选的 模型,会出现 重复项移除 字段。可选择对已合并记录进行 归档 还是 删除。

接下来,选择 合并模式:

  • 手动:需要逐个手动合并重复分组,同时启用 通知用户 字段。

  • 自动:自动合并重复分组而不通知用户,针对相似度百分比高于 相似度阈值 字段所设阈值的记录。

启用 有效 开关后,此规则一经保存即开始捕获重复记录。

最后,点击 唯一 ID 字段 列下方的 添加一行,在 重复数据删除规则 字段中至少创建一条规则。

  • 在 唯一 ID 字段 下拉菜单中选择模型中的某个字段,相似记录将依据该字段进行比对。

  • 在 匹配条件 字段中选择匹配条件,根据 唯一 ID 字段 中的文本来应用该重复数据删除规则:

    • 完全匹配:文本中的字符完全一致。

    • 忽略大小写/重音匹配:文本中的字符匹配,但忽略大小写及特定语言的重音差异。

重要

必须至少设置一条 重复数据删除规则,此规则才能捕获重复记录。

小技巧

还有一些字段可用于高级配置。

在多公司数据库中,可使用 跨公司 字段。启用后,系统会建议跨不同公司的重复记录。

激活 开发者模式(调试模式) 后,会显示 建议阈值 字段。相似度低于该字段所设阈值的重复记录将 不会 被建议。

完成规则配置后,可以关闭规则表单,也可以 手动运行该规则 以立即捕获重复记录。

手动运行重复数据删除规则

若要在任意时间手动运行特定的重复数据删除规则,请前往 数据清除应用 ‣ 配置 ‣ 重复数据删除,并选择要运行的规则。

然后,在规则表单左上角选择 去重 按钮。执行后, 重复记录 智能按钮会显示已捕获的重复记录数量。

点击 重复记录 智能按钮,以 管理这些记录。

回收记录

使用 回收记录 功能,清除数据库中陈旧和过时的记录。

字段回收记录 仪表板通过匹配 回收记录规则 在记录内设定的条件,显示可以归档或删除的记录。

前往 数据清除应用 ‣ 回收记录 即可访问此仪表板。

数据清除应用中的字段回收记录仪表板。

回收规则 侧边栏列出了每条处于活动状态的回收记录规则。

默认情况下,选择 全部 选项。记录显示时包含以下列:

  • 记录 ID:原始记录的 ID。

  • 记录名称:原始记录的名称或标题。

在 回收规则 侧边栏中选择特定规则,以筛选记录。

要回收记录,请点击该记录所在行的 验证 按钮。

执行后,记录会根据规则的配置被归档或删除。

小技巧

点击 丢弃 按钮可丢弃分组。执行后,该记录将从列表中隐藏,且今后不会再被回收规则检测到。

通过在 搜索栏 下拉菜单中选择 已丢弃 筛选器,可查看被丢弃的记录。

回收记录规则

回收记录规则 设定记录被回收的条件。

这些规则可以针对数据库中的每个模型以不同具体程度进行配置。开始配置,请前往 数据清除应用 ‣ 配置 ‣ 回收记录。

小技巧

默认情况下,回收规则每天运行一次,作为计划操作 cron(Data Recycle: Clean Records)的一部分。不过,每条规则都可以随时 手动运行。

默认情况下不存在回收记录规则。点击 新建 按钮可创建新规则。

在回收记录规则表单上,首先为此规则选择目标 模型。选择模型后,规则标题会更新为所选模型。

如有需要,可配置 筛选器 以指定适用此规则的记录。符合条件的记录数显示在 # 条记录 链接中。

接下来,配置规则用于检测待回收记录的字段和时间范围:

  • 时间字段:从模型中选择一个字段作为时间基准(时间差)。

  • 时间差:输入时间长度,必须是整数(例如 7)。

  • 时间差单位:选择时间单位(天、周、月 或 年)。

然后,选择 回收模式:

  • 手动:需要逐个手动回收检测到的记录,并启用 通知用户 字段。

  • 自动:自动合并回收的分组,不通知用户。

最后,选择 回收操作,即对记录执行 归档 还是 删除。如果选择 删除,还需指定规则是否 包含已归档 的记录。

完成规则配置后,可以关闭规则表单,也可以 手动运行该规则 以立即捕获待回收的记录。

示例

利用以下配置,回收规则可以删除一年前最后更新且带有特定流失原因的已归档潜在客户和商机:

  • 模型:潜在客户/商机

  • 筛选项:

    • 有效 为 未设置

    • 流失原因 属于 价格过高

  • 时间字段:最后更新(潜在客户/商机)

  • 时间差:1

  • 时间差单位:年

  • 回收模式:自动

  • 回收操作:删除

  • 包含已归档:

潜在客户/商机的回收记录规则表单。

手动运行回收规则

若要在任意时间手动运行特定的回收规则,请前往 数据清除应用 ‣ 配置 ‣ 回收记录,并选择要运行的规则。

然后,在规则表单左上角点击 立即运行 按钮。执行后, 记录 智能按钮会显示已捕获的记录数量。

点击 记录 智能按钮,以 管理这些记录。

字段清洗

使用字段清洗功能,在整个数据库中保持姓名、电话号码、ID 及其他字段格式的一致。

字段清洗记录 仪表板显示为使记录字段中的数据遵循字段清洗规则设定的规范而建议的格式更改。

前往 数据清除应用 ‣ 字段清洗 即可访问此仪表板。

数据清除应用中的字段清除记录仪表板。

清洗规则 侧边栏列出了每条处于活动状态的清洗规则。

默认情况下,选择 全部 规则。记录列出时包含以下列:

  • 记录 ID:原始记录的 ID。

  • 记录名称:原始记录的名称或标题。

  • 字段:包含待格式化值的原始记录字段。

  • 当前:原始记录字段中的当前值。

  • 建议:原始记录字段中建议的格式化值。

要清洗和格式化记录,请点击该记录所在行的 验证 按钮。

执行后,记录会被清洗和/或格式化。

小技巧

点击 丢弃 按钮可丢弃记录。执行后,记录将从列表中隐藏,且今后不会再被字段清洗规则检测到。

通过在 搜索栏 中选择 已丢弃 筛选器,可查看被丢弃的记录。

字段清洗规则

字段清洗规则 设定字段需要被清洗和/或格式化的条件。

这些规则可以针对数据库中的每个模型以不同具体程度进行配置。开始配置,请前往 数据清除应用 ‣ 配置 ‣ 字段清洗。

小技巧

默认情况下,字段清洗规则每天运行一次,作为计划操作 cron(Data Cleaning: Clean Records)的一部分。不过,每条规则都可以随时 手动运行。

默认存在一条 联系人 规则,用于格式化和清理 联系人 应用的记录。选择 联系人 记录以进行编辑,或点击 新建 按钮创建新规则。

在字段清洗规则表单上,首先为此规则选择目标 模型。选择模型后,规则标题会更新为所选模型。

接下来,在 规则 部分点击 添加一行,配置至少一条规则。

执行后,会出现 创建规则 弹出窗口,其中包含以下可配置的字段:

  • 从模型中选择一个 待清洗字段,并将其分配给某个操作。

  • 选择以下 操作 选项之一:

    • 去除空格 会显示 去除 字段,用于选择 所有空格 或 多余空格 选项。前导、尾随及连续空格均被视为多余空格。

      示例

      联系人姓名 Dr.  John   Doe 可以使用以下 去除 选项进行格式化:

      • 所有空格:DR.JohnDoe

      • 多余空格:DR. John Doe

    • 设置大小写 会显示 大小写 字段,可选择 首字母大写、全部大写 或 全部小写。

      示例

      潜在客户/商机标题 lumber inc, Lorraine douglas 可以使用以下 大小写 选项进行格式化:

      • 首字母大写:Lumber Inc, Lorraine Douglas

      • 全部大写:LUMBER INC, LORRAINE DOUGLAS

      • 全部小写:lumber inc, lorraine douglas

    • 格式化电话号码 会将电话号码转换为国际格式。

      示例

      • 比利时:061928374 +32 61 92 83 74

      • 美国:800 555-0101 +1 800-555-0101

    • 移除 HTML 会将 HTML 转换为纯文本。

      示例

      HTML 文本
      <h1>John Doe</h1>
      <p>Lorem ipsum dolor sit <a href="https://example.com">amet</a>.</p>
      
      纯文本
      **John Doe** Lorem ipsum dolor sit amet [1] .[1] https://example.com
      

    选择字段和操作后,点击 保存 以关闭 创建规则 弹出窗口。

然后,选择 清洗模式:

  • 手动:需要逐个手动清洗检测到的字段,并启用 通知用户 字段。

  • 自动:自动清洗字段,不通知用户。

完成规则配置后,可以关闭规则表单,也可以 手动运行该规则 以立即捕获待清洗的字段。

手动运行字段清洗规则

若要在任意时间手动运行特定的字段清洗规则,请前往 数据清除应用 ‣ 配置 ‣ 字段清洗,并选择要运行的规则。

然后,在规则表单左上角选择 清除 按钮。执行后, 记录 智能按钮会显示已捕获的记录数量。

点击 记录 智能按钮,以 管理这些记录。

合并操作管理器

合并操作管理器 用于启用或禁用数据库内模型在 操作 菜单中可用的 合并 操作。

启用 开发者模式(调试模式) 并前往 数据清除应用 ‣ 配置 ‣ 合并操作管理器。

模型列表包含以下列:

  • 模型:模型的技术名称。

  • 模型描述:模型的显示名称。

  • 类型:模型是 基础对象 还是 自定义对象 类型。

  • 瞬时模型:该模型处理无需长期存储在数据库中的临时数据。

  • 可合并:为该模型启用 合并 操作。

要查看默认启用了哪些模型,请使用 搜索栏 筛选 可合并 的模型。

更多内容

合并联系人