重复行删除工具：使用指南

什么是重复行删除工具？

重复行删除工具是一款基于浏览器的工具，可扫描文本块、识别重复行，并在保留原始顺序的同时只返回唯一的行。它提供两种匹配模式：精确匹配（可选切换大小写敏感性）和模糊匹配（通过 Fuse.js 对相似但不完全相同的行进行分组）。统计面板显示原始行数、唯一行数和已删除行数，让您一目了然地验证结果。需要清理导出列表的数据分析师、需要删除配置条目中重复内容的开发人员，以及需要删除意外重复段落的写作者，都在不编写脚本的情况下使用此工具来获得干净的输出。所有处理均在您的浏览器中运行，不会向服务器发送任何内容，且页面加载后可离线使用。

主要功能

• 删除重复行 — 去除重复的行，只返回每行的第一次出现。
• 区分大小写比较 — 默认启用；"Apple"和"apple"被视为不同的行。
• 不区分大小写比较 — 取消选中区分大小写选项，则"Apple"和"apple"被视为重复项，只保留第一次出现的。
• 精确匹配模式 — 行必须在大小写设置下完全相同，才算作重复项。
• 模糊匹配模式 — 使用 Fuse.js 对相似但不完全相同的行进行分组；阈值滑块（0.1 至 0.9）通过"严格"、"适中"和"宽松"标签控制分组的积极程度。
• 模糊分组审查界面 — 在模糊模式下，点击"Detect Fuzzy"后，每个重复组以卡片形式显示。您点击要保留的行版本，然后复制去重后的结果。
• 删除统计 — 三个统计卡片实时（精确模式）或检测后（模糊模式）显示原始行数、唯一行数和已删除数。
• 批量模式 — 高级功能，对逐行提交的多个独立文本块应用去重操作。
• 复制结果和清除按钮 — 一键将唯一行输出复制到剪贴板，并重置文本区域。
• 预设和历史记录支持 — 高级功能，保存您的大小写偏好设置并记录之前的任务。

如何使用重复行删除工具

步骤 1：打开工具

访问重复行删除工具。页面顶部显示选项区域，包含"Case Sensitive"复选框（默认已勾选）、三个统计卡片（原始行数、唯一行数、已删除）以及精确匹配和模糊匹配之间的模式切换。

步骤 2：选择匹配模式

针对精确重复项： 将模式保持在"Exact Match"。决定大小写是否重要：

• 如果 Error 和 error 应保留为独立行，则保持"Case Sensitive"勾选状态。
• 如果希望将 Error 和 error 视为同一行，则取消勾选。

针对近似重复项： 点击"Fuzzy Match"。出现阈值滑块。低值（0.1–0.2，标记为"严格"）仅对相差一个字符或轻微拼写错误的行进行分组。高值（0.7–0.9，标记为"宽松"）对具有一般相似性的行进行分组。默认值为 0.3（适中）。

步骤 3：粘贴文本

点击输入文本区域，粘贴您的内容。在精确匹配模式下，右侧输出面板和三个统计卡片会立即更新。您可以观察到工具识别重复项时已删除计数的增加。

输入示例（精确匹配，区分大小写）：

apple
banana
Apple
apple
cherry
banana

输出：

apple
banana
Apple
cherry

统计卡片：原始行：6，唯一行：4，已删除：2

原始顺序得到保留。保留每行的第一次出现。

步骤 4：审查模糊分组（仅限模糊模式）

在模糊模式下，粘贴文本后点击"Detect Fuzzy"。工具使用 Fuse.js 对字符串距离得分低于阈值的行进行分组。分组以琥珀色边框卡片显示。每张卡片显示所有相似行；紫色高亮的行标记为"保留"，其他行显示为"丢弃"。点击分组中的任意行可更改要保留的版本。没有相似匹配项的行单独显示为已唯一。

对选择满意后，点击"Copy Deduplicated Text"将结果复制到剪贴板。

步骤 5：复制结果（精确模式）

在精确匹配模式下，点击"Copy Result"将唯一行输出复制到剪贴板。弹出通知确认操作成功。如果您是支持者，复制操作还会将该任务记录到工具历史记录中（显示"Removed N duplicates"作为历史标签）。

实用示例

清理电子邮件列表

您从两个不同来源导出邮件列表并将其合并。合并后的列表包含数百个重复项。将完整列表粘贴到工具中，取消勾选"Case Sensitive"（因为某些地址可能仅在大写方式上有所不同），输出面板立即显示去重后的列表。已删除统计卡片会告诉您准确删除了多少条目。

去除日志条目重复

日志文件包含重复行，因为同一错误每秒触发多次。粘贴相关日志行，保持大小写敏感启用状态（日志行需区分大小写），然后切换到精确匹配。输出保留每个重复错误的第一次出现，为您提供要调查的不同错误消息的简洁列表。

清理近似重复的调查回复

受访者提交类似的自由文本答案："好"、"好。"、"好！"、"很好"、"很好"。切换到模糊匹配，将阈值设置在 0.3 左右，然后点击"Detect Fuzzy"。工具将"好"、"好。"和"好！"归为相似组，并让您选择保留哪个版本。"很好"和"很好"可能被单独分组。审查每个聚类并复制清理后的结果。

提示与最佳实践

精确模式保留原始顺序。 行按其在输入中首次出现的顺序返回。如果行顺序对您的用例很重要（排名列表、步骤序列），可以安全地使用精确模式，无需担心排序副作用。

大小写敏感默认启用是有原因的。 大多数技术数据（文件路径、配置键、URL）区分大小写。默认设置可防止意外合并看起来相似的行。只有在确定大小写差异不重要时才将其关闭。

从严格的模糊阈值开始，然后逐渐放宽。 阈值为 0.1（严格）时，只有几乎相同的行才会分组。阈值为 0.9（宽松）时，您可能看到不相关的行被分组。从 0.1 或 0.2 开始，审查分组，只在需要更广泛分组时才增加阈值。

在模糊模式下，您可以选择保留哪个版本。 这是与精确模式的关键区别。模糊模式无法自动选择近似重复项的"最佳"版本——它会向您展示聚类并让您决定。在复制结果之前，请花时间阅读每个分组。

空行很重要。 空行是独立的行。如果您的输入包含多个空行，在精确匹配模式下它们将被去重为单个空行。如果您想删除所有空行，请先使用文本清理工具。

常见问题与故障排除

已删除计数保持为零。 如果未检测到重复项，请检查大小写敏感设置是否适合您的数据。如果"apple"和"Apple"应算作重复项，请取消勾选"Case Sensitive"。还要检查看起来相同的行是否可能包含尾随空格或不同的行尾字符——工具在精确模式下比较精确的字符序列。

模糊模式未检测到预期的重复项。 降低阈值滑块。0.3 的阈值是适中水平；尝试 0.5 或更高以捕获更多具有一般相似性的行。请注意，很短的行（一两个字符）很难进行模糊匹配，因为微小的变化占其长度的很大比例。

即使有文本，输出也是空的。 这在精确模式下不应发生，因为每行始终至少保留一次出现。如果您看到空的输出区域，请检查输入文本区域是否确实包含文本，以及您是否处于精确匹配模式（模糊模式不填充右侧输出面板；它显示分组卡片）。

批量模式：只出现一行结果。 批量模式将批量输入的每一行视为要去重的独立文本块。如果您的批量输入是单行，则得到一行结果。在独立块之间添加换行符以处理多个块。

"Detect Fuzzy"按钮显示为灰色。 此按钮仅在模糊模式下可用，并且需要非空输入。将模式切换到"Fuzzy Match"，并确保输入文本区域至少包含一个非空白行。

隐私与安全

所有去重处理完全在您的浏览器中进行。在精确模式下，removeDuplicateLines 函数对您粘贴的文本进行同步操作，没有任何网络活动。在模糊模式下，Fuse.js 库在您第一次运行模糊检测时作为动态导入加载——这是库代码的一次性下载，而非您的文本。您的文本永远不会被传输到任何地方。工具在初始页面加载后（精确模式）以及 Fuse.js 下载一次后（模糊模式）均可离线工作。

常见问题解答

重复行删除工具是免费的吗？ 是的。核心去重功能（精确匹配、大小写切换、统计和剪贴板复制）完全免费，无需账户。

支持离线使用吗？ 精确模式在页面加载后支持离线。模糊模式需要一次性下载 Fuse.js 库；下载后也可离线工作。

我的文本会被存储或发送到服务器吗？ 不会。您的文本永远不会离开您的浏览器。去重算法在您的设备上以 JavaScript 运行。Fuse.js 的动态导入仅下载库代码，不会下载您的文本。

"保留原始顺序"是什么意思？ 工具按行在您的输入中首次出现的顺序保留这些行。如果"banana"出现在第 1、5 和 12 行，输出将其保留在相当于第 1 行的位置（相对于其他唯一行）。输出不会按字母顺序排列。

精确匹配和模糊匹配有什么区别？ 精确匹配删除逐字符相同的行（根据大小写设置）。模糊匹配使用字符串相似度评分对相似但不完全相同的行进行分组——例如"colour"和"color"，或"John Smith"和"Jon Smith"。

模糊阈值是如何工作的？ 阈值控制 Fuse.js 的灵敏度。值 0.0 表示需要精确匹配；值 1.0 表示任意两个字符串都匹配。滑块范围为 0.1 至 0.9。在 0.1（"严格"）时，只有非常小的差异（单个字符替换或移位）才会导致分组。在 0.7–0.9（"宽松"）时，具有一般相似性的字符串会被分组。默认值 0.3 是处理轻微拼写错误和格式差异的合理起点。

我可以保留重复项的最后一次出现而不是第一次吗？ 精确模式下不可以——工具始终保留第一次出现并丢弃后续出现。在模糊模式下，您可以点击分组中的任意行将其标记为"保留"选择，因此实际上可以选择保留任何出现。

空行会怎么处理？ 空行被视为有零个字符的独立行。在精确模式下，多个连续的空行会被去重为一个空行。如果您想消除所有空行，请考虑在去重前后使用文本清理工具。

处理的行数有限制吗？ 没有强制限制。非常大的输入（数千行）在精确模式下处理速度很快。模糊模式在最坏情况下具有二次复杂度（每行与所有其他行进行比较），因此非常大的输入——数万行——根据您的设备可能需要几秒钟。

相关工具

• 文本排序 — 在去重前后按字母顺序、数字顺序、长度或单词数对行进行排序，以生成整洁有序的列表。
• 字数统计 — 清理文本后统计单词数、句子数、段落数和阅读时间。
• 查找替换 — 在运行去重之前执行有针对性的文本替换以规范化变体。

立即试用重复行删除工具：重复行删除工具