Saqlash usuli

1. CDX indeksidagi nusxalarni kataloglash

Internet Archive CDX indeksini bitta ishchi bilan, soʻrovlar orasida kamida olti soniya kutib tekshiramiz. Soʻrovlar soni, maʼlumot hajmi va vaqt chegaralangan. Sahifalab olib, har sahifada davom nuqtasini saqlaymiz; ish toʻxtasa, takrorlamay davom etamiz.

• 403 yoki kirish rad etilsa, toʻxtab qoʻlda tekshiramiz. Cheklovni chetlab oʻtmaymiz.
• 429, 503 yoki Temporarily Offline javobi: kutish oraligʻini ehtiyotkor oshiramiz, keyin toʻxtab qayd etamiz.
• Har soʻrovda havola, holat, hajm, muddat va natija qayd etiladi.

2. Nimalarni hisoblaymiz

Quyidagi koʻrsatkichlarni alohida hisoblaymiz:

• Snapshot qatorlari: saqlangan CDX yozuvlari; har snapshot havola va vaqtdir.
• Alohida urlkey: arxiv meʼyorlagan URL’lar, jumladan soʻrov satri farqlari.
• Kanonik materiallar: protokol, www va port meʼyorlangach, bitta sahifa yoʻli.
• Alohida xeshlar: arxiv xeshiga koʻra farq qiladigan nusxalar.
• Matn ajratish va nashr alohida: ajratish ichki jarayon, nashr uchun ruxsat zarur.

/mat/107647 kabi ID raqamni anglatmaydi; undan materiallar sonini chiqarmaymiz.

3. Har bir URL uchun nusxani tanlash

Har nusxaning holati, HTML turi, medianaga nisbiy hajmi va asl sayt faoliyatidan oldin olinganini tekshiramiz. Eng yangi yaroqli nusxani tanlaymiz; matn ajratilmasa eskisiga oʻtamiz. Tanlov va rad sabablari material sahifasida qayd etiladi.

4. Matn ajratish va xavfsizlik

• Xom javobni SHA-256 izi bilan maxfiy, kontentga asoslangan omborda oʻz holicha saqlaymiz.
• Ehtiyotkor vosita sarlavha, muallif, boʻlim va matnni oladi; skript, freym, uslub va hodisa ishlovchilarini olib tashlaydi.
• Nusxa sanasini nashr sanasi deb olmaymiz. Sahifada sana boʻlmasa, buni ochiq aytamiz.
• Oʻquvchi izohlari va forumlar foydalanuvchi yaratgan kontent, shu bois chiqarib tashlanadi.
• Arxivlangan kod domenimizda hech qachon ishga tushirilmaydi.

5. Asl matn va tahrir qilingan nashrlar

Ajratilgan asl matn oʻzgarmas; qayta ajratish yangi yozuv yaratadi. Ilmiy nashr alohida qatlam, versiya raqami va tahrir izohiga ega. Huquqlar tekshirilib, muharriridan mustaqil ikki olim tasdiqlagachgina nashr etiladi.

6. Saqlash va zaxira nusxalari

3-2-1-1-0 siyosatining maqsadi: tekshirilgan 3 nusxa, 2 turli vositada, 1 tasi saytdan tashqarida, 1 tasi oʻzgarmas yoki alohida boshqaruvda; tiklash sinovida 0 xato. Amaldagi holatni eʼlon qilamiz, zaxiralashni nusxalash bilan tenglashtirmaymiz.

7. Sunʼiy intellekt

Avtomatik teg, stenogramma va xulosalar inson tekshiruvini kutadi. Ular manbaga nisbat berilmaydi yoki fatvo-hukm uchun ishlatilmaydi.