Koruma yöntemi

1. Kataloğu, CDX dizini aracılığıyla yakalanır

Internet Archive CDX dizinini tek çalışanla, istekler arasında en az altı saniye bırakarak ve istek sayısı, veri boyutu ile çalışma süresi sınırlarına uyarak sorgularız. Sonuçları sayfalara böler, işin yinelenmeden sürmesi için her sayfada kontrol noktası kaydederiz.

• 403 yanıtı veya erişim reddinde durup elle inceleriz; engeli aşmaya çalışmayız.
• 429, 503 veya Geçici Olarak Çevrimdışı sayfa için, ihtiyatlı geri çekilme ile bekleriz, ardından durur ve sonucu kaydederiz.
• Her istek URL, durumu, boyutu, süresi ve sonucuyla birlikte günlüğe kaydedilir.

2. Neyi sayarız

Farklı önlemleri ayrı tutuyoruz:

• Yakalama satırları: saklanan CDX kayıtları; her yakalama bir URL ve zaman içerir.
• Farklı URL anahtarları (urlkey): arşivin bastığı URL’ler; sorgu parametreleri farklı olabilir.
• Kanonik öğeler: protokol, www alt alanı ve bağlantı noktası birleştirildikten sonraki sayfa yolu.
• Farklı özetler: Arşivin özetine göre farklılık gösteren içerik.
• Çıkarma ve yayımlama ayrı aşamalardır: çıkarma kurum içidir, yayımlama izin gerektirir.

/mat/107647 gibi öğe tanımlayıcıları sayı değildir; bunlardan öğe sayısı çıkarmayız.

3. Her URL için bir yakalama seçin

Her yakalamanın durumunu, HTML türünü, medyana göre boyutunu ve özgün içeriğin sonundan önce olup olmadığını değerlendiririz. En yeni sağlam yakalamayı seçer, çıkarma başarısızsa bir öncekine döneriz. Seçim ve dışlama nedenleri her öğe sayfasında yer alır.

4. Çıkarma ve güvenlik

• Özel bir içerik adresli mağazadaki SHA-256 özetiyle ham yanıtı değişmeden koruyoruz.
• Muhafazakar bir çıkarıcı başlığı, yazarı, bölümü ve metni okur ve komut dosyalarını, çerçeveleri, stilleri ve olay işleyicilerini kaldırır.
• Yakalama tarihini yayın tarihi saymayız. Sayfada tarih yoksa bunu açıkça belirtiriz.
• Kullanıcı içeriği oldukları için okuyucu yorumları ve forumlar hariç tutulur.
• Arşivlenen kod hiçbir zaman alanımızda çalıştırılmaz.

5. Orijinal metin ve düzenlenmiş basımlar

Çıkarılan orijinal değiştirilemez; başka bir ekstraksiyon yeni bir kayıt yaratır. Bilimsel baskı, sürüm numarası ve editör notu içeren ayrı bir katmandır. Editör dışında iki bağımsız bilim insanının hakları incelendikten ve onaylandıktan sonra yayınlanır.

6. Depolama ve yedeklemeler

3-2-1-1-0 politikamız bir hedeftir: iki ortamda, biri tesis dışında, biri değiştirilemez veya ayrı yönetim altında olmak üzere üç doğrulanmış kopya ve geri yükleme testlerinde sıfır hata. Gerçek durumu yayınlıyoruz ve çoğaltmayı yedek olarak görmüyoruz.

7. Yapay zeka

Otomatik etiketler, transkriptler veya özetler, insanlar tarafından incelenmeyi bekleyen önerilerdir. Kaynağa atfedilmez veya fetva veya hüküm vermek için kullanılmaz.