Saxlama üsulu

1. CDX indeksində arxiv nüsxələrini kataloqa salmaq

Internet Archive CDX indeksini bir işçi ilə, sorğular arasında ən azı altı saniyə fasilə verərək yoxlayırıq. Sorğu sayı, məlumat həcmi və vaxt hədləri açıqlanır. Səhifələmə və hər səhifədən sonra saxlanan davam nöqtəsi işi təkrarsız bərpa etməyə imkan verir.

• 403 və ya giriş rəddi: dayanıb əl ilə yoxlayır, məhdudiyyəti aşmırıq.
• 429, 503 və ya “Temporarily Offline” səhifəsi: fasiləni tədricən artırır, sonra dayanıb vəziyyəti qeydə alırıq.
• Hər sorğuda keçid, status, ölçü, müddət və nəticə qeydə alınır.

2. Nələri sayırıq

Fərqli göstəriciləri bir-birindən ayrı saxlayırıq:

• Nüsxə sətirləri: saxlanmış CDX qeydləri; hər nüsxə URL və vaxtdan ibarətdir.
• Fərqli urlkey-lər: arxivin normallaşdırdığı URL-lər, sorğu parametri fərqləri daxil.
• Kanonik qeydlər: protokol, www alt domeni və port normallaşdıqdan sonra hər səhifəyə bir yol.
• Fərqli heşlər: arxivin heşinə görə məzmunu fərqlənən qeydlər.
• Çıxarış və yayım fərqlidir: birincisi daxili, ikincisi icazə ilə oxucuya açıqdır.

/mat/107647 kimi nömrələr identifikatordur, say deyil; materialların ümumi sayını onlardan çıxarmırıq.

3. Hər URL üçün arxiv nüsxəsi seçmək

Hər keçidin nüsxələrində 200 statusunu, HTML növünü, medianla müqayisədə ölçünü və orijinal məzmunun son tarixindən əvvəl olmasını yoxlayırıq. Ən yeni sağlam nüsxəni seçir, çıxarış alınmasa köhnəsinə qayıdırıq. Səbəblər hər materialın səhifəsində göstərilir.

4. Mətn çıxarışı və təhlükəsizlik

• Xam cavabı dəyişmədən, SHA-256 izi ilə özəl məzmun ünvanlı saxlancda qoruyuruq.
• Ehtiyatlı çıxarıcı başlıq, müəllif, bölmə və mətni götürüb skript, çərçivə, üslub və hadisə işləyicilərini silir.
• Arxiv nüsxəsinin tarixi nəşr tarixi sayılmır. Səhifədə tarix yoxdursa, bunu bildiririk.
• Oxucu şərhlərini və forum bölmələrini istifadəçilər yaratdığı üçün çıxarırıq.
• Arxivlənmiş kodu öz domenimizdə heç vaxt icra etmirik.

5. Orijinal mətn və redaktə edilmiş nəşrlər

Çıxarılan orijinal mətn dəyişməz qeyddir; yenidən çıxarış yeni qeyd yaradır. Elmi nəşr versiyası və redaksiya qeydi olan ayrıca qattır. Hüquqlar yoxlanandan sonra onu redaktordan başqa iki müstəqil alim təsdiq etməlidir.

6. Saxlama və ehtiyat nüsxələri

3-2-1-1-0 siyasətimiz hədəf göstəricisidir: 3 yoxlanmış nüsxə, 2 növ daşıyıcı, 1 nüsxə başqa məkanda, 1 dəyişdirilməz və ya ayrıca idarə olunan nüsxə, bərpa sınaqlarında isə 0 xəta. Faktiki vəziyyəti dərc edir, replikasiyanı ehtiyat nüsxəsi saymırıq.

7. Süni intellekt

Avtomatik teq, transkripsiya və xülasə insan yoxlamasını gözləyir; mənbəyə aid edilmir, fətva və hökm üçün işlədilmir.