Метод сохранения

1. Инвентаризация снимков через индекс CDX

Запрашиваем CDX-индекс Internet Archive одним процессом, не чаще раза в шесть секунд и в установленных лимитах запросов, данных и времени. Ответы делим на страницы и сохраняем точку продолжения без повторов.

• При 403 или отказе в доступе останавливаемся и проверяем вручную, не обходя ограничение.
• При 429, 503 или Temporarily Offline делаем осторожные паузы, затем останавливаемся и фиксируем результат.
• Для каждого запроса фиксируем URL, статус, размер, время и результат.

2. Какие показатели мы учитываем

Мы учитываем разные показатели отдельно:

• Записи снимков: сохраненные строки CDX, каждая содержит URL и время.
• Разные urlkey: нормализованные архивом URL, в том числе с разными параметрами запроса.
• Канонические страницы: один путь на страницу после нормализации протокола, www и порта.
• Разные хеши: содержимое отличается по отпечатку архива.
• Извлечение внутреннее; публикация для читателей требует разрешения.

Идентификаторы вроде /mat/107647 обозначают материалы, а не их число; мы не выводим из них количество.

3. Выбор архивного снимка для каждого URL

Для каждого URL оцениваем код ответа, тип HTML, размер относительно медианы и дату снимка. Берем самый свежий исправный снимок до прекращения публикаций; если извлечь его не удалось, берем предыдущий. Причины выбора и исключения указаны в карточке материала.

4. Извлечение текста и безопасность

• Храним исходный ответ без изменений и его SHA-256 в закрытом контентно-адресуемом хранилище.
• Осторожный экстрактор извлекает заголовок, автора, раздел и текст, удаляя скрипты, фреймы, стили и обработчики.
• Не считаем дату снимка датой публикации. Если дата на странице не указана, сообщаем об этом.
• Комментарии и форумы исключены как пользовательский контент.
• Архивированный код никогда не выполняется в нашем домене.

5. Оригинальный текст и научные редакции

Исходный извлеченный текст неизменяем; повторное извлечение создает запись. Научная редакция хранится отдельно с версией и примечанием и публикуется после проверки прав и одобрения двух независимых от редактора ученых.

6. Хранение и резервное копирование

Цель политики 3-2-1-1-0: три проверенные копии на двух носителях, одна вне площадки, одна неизменяемая или отдельно управляемая и ноль ошибок при проверке восстановления. Публикуем фактическое состояние и не считаем репликацию резервной копией.

7. Искусственный интеллект

Автоматические метки, расшифровки и сводки требуют проверки человеком. Они не приписываются источнику и не используются для фетв или решений.