Mbinu ya uhifadhi

1. Orodhesha kwa faharasa ya CDX

Tunauliza faharasa ya Internet Archive kwa mtumishi mmoja, tukiacha angalau sekunde sita kati ya maombi na kufuata bajeti iliyotangazwa ya idadi, data na muda. Tunatumia kurasa na kuhifadhi mahali pa kuendelea baada ya kila ukurasa, hivyo kazi ikisimama huendelea bila kurudia.

• Jibu la 403 au kunyimwa ufikiaji: simama na ukague kwa mikono; usikwepe kizuizi.
• Kwa 429, 503 au ukurasa wa Temporarily Offline, tunasubiri kwa muda unaoongezeka kwa tahadhari, kisha tunasimama na kurekodi matokeo.
• Kila ombi hurekodiwa pamoja na URL, hali, ukubwa, muda na matokeo yake.

2. Tunachohesabu

Tunatenganisha vipimo mbalimbali:

• Mistari ya nakala: rekodi za CDX zilizohifadhiwa; kila nakala ni URL na muda.
• urlkey: viungo vilivyosawazishwa na kumbukumbu, pamoja na tofauti za vigezo vya utafutaji.
• Nyenzo sanifu: njia moja kwa ukurasa baada ya kusawazisha itifaki, www na porti.
• Digest tofauti: maudhui yanayotofautiana kulingana na digest ya kumbukumbu.
• Uchimbuaji na uchapishaji ni tofauti: wa kwanza ni wa ndani, wa pili hupatikana kwa ruhusa.

Nambari za vitambulisho kama /mat/107647 ni vitambulisho, si hesabu; hatukadirii idadi ya nyenzo kutokana nazo.

3. Chagua nakala iliyohifadhiwa kwa kila URL

Tunatathmini nakala zote kwa kila URL: hali 200, aina ya HTML, ukubwa dhidi ya wastani, na tarehe kabla maudhui asili hayajakoma. Tunachagua nakala salama ya karibuni zaidi; uchimbuaji ukishindikana, tunatumia ya zamani. Sababu za uteuzi na kuondoa huonyeshwa kwenye ukurasa wa kila nyenzo.

4. Utoaji wa maandishi na usalama

• Tunatunza jibu ghafi bila mabadiliko na alama yake ya SHA-256 kwenye hifadhi binafsi inayotumia anwani za maudhui.
• Kichimbaji cha tahadhari husoma kichwa, mwandishi, sehemu na maandishi, na kuondoa hati za programu, fremu, mitindo na vidhibiti vya matukio.
• Tarehe ya nakala si tarehe ya uchapishaji. Ikiwa ukurasa hautaji tarehe, tunasema wazi.
• Maoni ya wasomaji na sehemu za majukwaa huondolewa kwa kuwa ni maudhui ya watumiaji.
• Msimbo uliohifadhiwa hauendeshwi kamwe kwenye kikoa chetu.

5. Maandishi ya awali na matoleo yaliyohaririwa

Maandishi asili yaliyotolewa hayawezi kubadilishwa; uchimbuaji upya huunda rekodi mpya. Toleo lililohakikiwa ni tabaka tofauti lenye nambari ya toleo na dokezo la uhariri. Huchapishwa baada ya haki kukaguliwa na wanazuoni wawili huru, wasio wahariri, kuidhinisha.

6. Hifadhi na nakala rudufu

Sera ya 3-2-1-1-0 ni lengo: nakala tatu zilizothibitishwa kwenye hifadhi mbili, moja nje ya eneo, moja isiyobadilika au inayosimamiwa kando, na hitilafu sifuri katika majaribio ya urejeshaji. Tunatoa hali halisi; urudufu si nakala rudufu.

7. Akili bandia

Lebo, unukuzi au muhtasari wa kiotomatiki ni mapendekezo yanayosubiri uhakiki wa binadamu. Havihusishwi na chanzo wala kutumiwa kutoa fatwa au hukumu.