保存方法

1. 通过 CDX 索引编目网页快照

我们使用一个工作进程查询 Internet Archive 的 CDX 索引，每次请求至少间隔 6 秒，并遵守已公布的请求数量、数据量和运行时限。我们逐页查询，并在每页后保存检查点，以便后续继续而不重复处理。

• 遇到 403 响应或访问被拒时，我们会停止并进行人工复核，不会尝试绕过限制。
• 遇到 429、503 或“Temporarily Offline”页面时，我们会采用保守的退避等待，随后停止并记录结果。
• 每个请求都会记录其 URL、状态、大小、持续时间和结果。

2. 统计口径

我们将不同的措施分开：

• 捕获行：存储CDX记录；一次捕获是 URL 和时间戳。
• 不同的 urlkey：由存档规范化的 URL，包括查询字符串变体。
• 规范项：规范化协议、www 子域和端口后的一页路径。
• 不同的摘要：根据档案摘要而不同的内容。
• 摘录和出版是不同的阶段。提取是内部的；出版需要许可。

/mat/107647 等项目标识符只是标识符，并非数量。我们不会据此推算项目总数。

3. 为每个 URL 选择一个网页快照

我们根据中位数评估每个捕获的状态、HTML 类型、大小以及它是否早于原始内容的结尾。我们选择最新的声音捕捉，然后在提取失败时回退到较旧的声音捕捉。选择和排除的原因记录在每个项目页面上。

4. 内容提取与安全

• 我们在私有内容寻址存储中保留原始响应及其 SHA-256 摘要不变。
• 保守的提取器读取标题、作者、部分和文本，并删除脚本、框架、样式和事件处理程序。
• 捕获日期不被视为发布日期。如果页面没有给出日期，我们会这么说。
• 读者评论和论坛部分被排除在外，因为它们是用户生成的内容。
• 存档的代码永远不会在我们的域上执行。

5. 原始文本与编辑版

提取的原件是不可变的；另一次提取会创建一条新记录。学术版本是一个单独的层，带有版本号和编辑注释。它只有在经过编辑以外的两名独立学者的权利审查和批准后才出版。

6. 存储与备份

我们的 3-2-1-1-0 策略是一个目标：三个经过验证的副本，位于两个介质上，一个位于异地，一个不可变或在单独的管理下，以及恢复测试中的零错误。我们发布实际状态，并不将复制视为备份。

7. 人工智能

自动标签、文字记录或摘要是等待人工审核的建议。它们不归于来源或用于发布追杀令或裁决。