Metode pelestarian

Katalog 1. diambil melalui indeks CDX

Kami mengidentifikasi halaman yang dapat diakses, meminta jeda yang wajar antarpermintaan, dan menyimpan hasil serta kode statusnya.

• Respons 403 atau akses ditolak: hentikan dan tinjau manual; jangan mencoba mengakali pembatasan.
• Untuk halaman 429, 503 atau Offline Sementara, kita menunggu dengan backoff konservatif, lalu berhenti dan mencatat hasilnya.
• Setiap permintaan mencatat URL, status, ukuran, durasi, dan hasil.

2. Apa yang kami hitung

Kami memisahkan tindakan-tindakan tertentu:

• Baris tangkapan adalah rekaman CDX tersimpan; satu tangkapan berupa URL dan waktu.
• urlkey berbeda: URL yang dinormalisasi oleh arsip, termasuk variasi string kueri.
• Materi kanonis: satu jalur per halaman setelah protokol, subdomain www, dan port diseragamkan.
• Digest berbeda: konten yang menurut digest arsip memiliki perbedaan.
• Ekstraksi dan penerbitan berbeda: yang pertama internal, yang kedua tersedia bagi pembaca dengan izin.

Nomor pengenal materi seperti /mat/107647 adalah ID, bukan hitungan; kami tak menyimpulkan jumlah materi darinya.

3. Pilih tangkapan untuk setiap URL

Untuk tiap URL, kami menilai semua tangkapan: status 200, jenis HTML, ukuran dibanding median, dan apakah diambil sebelum konten asli berhenti. Kami memilih tangkapan layak terbaru; jika ekstraksi gagal, kami beralih ke tangkapan lebih lama. Alasan pemilihan dan penolakan dicatat di halaman tiap materi.

4. Ekstraksi dan keamanan

• Respons mentah disimpan tanpa perubahan beserta hash SHA-256 di penyimpanan privat berbasis alamat konten.
• Ekstraktor konservatif membaca judul, penulis, bagian dan teks, serta menghapus skrip, bingkai, gaya, dan pengendali peristiwa.
• Tanggal tangkapan bukan tanggal terbit. Jika halaman tak mencantumkan tanggal, kami menyatakannya.
• Komentar pembaca dan forum dikecualikan karena dibuat oleh pengguna.
• Kode yang diarsipkan tidak pernah dijalankan di domain kami.

5. Teks asli dan edisi yang diedit

Teks asli hasil ekstraksi tak dapat diubah; ekstraksi ulang membuat rekaman baru. Edisi suntingan adalah lapisan terpisah dengan nomor versi dan catatan editorial. Terbit setelah hak diverifikasi dan disetujui dua penelaah ilmiah independen selain penyunting.

6. Penyimpanan dan pencadangan

Kebijakan 3-2-1-1-0 adalah target: tiga salinan terverifikasi pada dua media, satu di luar lokasi, satu tak dapat diubah atau dikelola terpisah, dan nol kesalahan uji pemulihan. Kami melaporkan keadaan nyata; replikasi bukan cadangan.

7. Kecerdasan buatan

Tag, transkrip, atau ringkasan otomatis ditampilkan sebagai usulan untuk ditinjau manusia. Itu tak diatribusikan ke sumber atau digunakan untuk menerbitkan fatwa maupun putusan.