Pokud jste v poslední době zvažovali koupi nového notebooku, je pravděpodobné, že jste tento termín již slyšeli. Přítel nebo technicky zdatný příbuzný vás mohl varovat před používáním levnějších procesorů Celeron s odkazem na nedostatek mezipaměti. Vypadá to jako malý detail ve specifikacích, ale není.
Co je mezipaměť? Jedná se o vysokorychlostní vrstvu pro ukládání dat umístěnou mezi procesorem a hlavní pamětí. Bez něj by byla moderní výpočetní technika extrémně pomalá.
Cache se používá všude v počítačích. Uvnitř procesoru se nachází cache L1, L2 a často i L3. Dále operační systémy používají mezipaměti paměti, mezipaměti stránek a mezipaměti disku. Virtuální paměť také funguje jako druh mezipaměti. To urychluje dokončení úloh a snižuje náklady na hardware. Jak to funguje v praxi.
Knihovnická analogie: žádná mezipaměť
Abychom pochopili logiku, odhoďme křemík a použijme image knihovníka. Představte si knihovnu, kde se knih nesmíte sami dotýkat. Požádáte knihovníka, který běží do zadního skladiště, aby přinesl knihu.
Přichází první klient. Potřebuje knihu Moby Dick. Knihovník vstoupí do úložiště, vezme knihu a předá ji klientovi. Klient později knihu vrátí. Knihovník to vezme zpět do trezoru. Vrátí se ke svému stolu a čeká.
Další klient chce znovu Moby Dicka. Knihovník musí opět projít celé úložiště. I u populárních titulů to pokaždé dělá stejnou neefektivní práci.
Takto funguje počítač bez mezipaměti. Každý požadavek využívá hlavní paměť (úložiště), bez ohledu na frekvenci požadavků.
Knihovnická analogie: pomocí cache
Nyní dejte stejnému knihovníkovi batoh. Unese až 10 knih. Tento batoh je cache.
Začal nový den. Batoh je prázdný. První klient chtěl Moby Dicka. Knihovník vešel do skladu, vzal knihu a předal ji. Klient knihu vrátí. Místo toho, aby ji knihovník odnesl zpět do trezoru, uloží si ji do batohu. Zůstává sedět u svého stolu.
Přichází další klient. Potřebuje Moby Dicka. Knihovník se nejprve podívá do batohu. Kniha je tam. Okamžitě předá. Žádná cesta do úložiště. Klienti dostávají rychlejší služby.
Tomu se říká zásah do mezipaměti. Tento produkt byl nalezen v rychlém skladu.
Chyby mezipaměti a latence
Co když klient požaduje knihu, která není v batohu? Knihovník musí nejprve zkontrolovat batoh. Teprve pak si uvědomí, že tam kniha není. Poté běží do skladu.
Tomu se říká chyba mezipaměti.
Snižuje to efektivitu knihovníka? Technicky ano. Udělal si čas na kontrolu batohu. Ve výpočtech je však toto zpoždění zanedbatelné. Moderní vybavení kontroluje přítomnost dat v mezipaměti v nanosekundách. Ve srovnání s cestou k „úložišti“ (hlavní paměti) je obrovská. Trest za miss je malý ve srovnání s penalizací za neuložení do mezipaměti.
Důležitá pravidla ukládání do mezipaměti
Z tohoto jednoduchého modelu můžeme vidět základní mechanismy.
- Rychlost a velikost: Mezipaměti využívají rychlejší a menší paměť ke zrychlení pomalejší a větší paměti. Pracuje s operačními systémy, webovými servery a hardwarem.
- Hit and Miss: Nejprve se kontroluje mezipaměť. Našli jste to? Hit. Nenašli jste to? Slečno. Systém pak musí stáhnout data z většího, pomalejšího fondu.
- Limit velikosti: Vyrovnávací paměť je vždy menší než hlavní paměť. Do batohu se vám celá knihovna nevejde.
- Vrstvenost: Lze je vrstvit na sebe. Náš knihovník může mít za pultem police (větší skrýše) a batohy (menší, rychlejší skrýše). Zkontroluje batoh, pak police, pak úložný prostor. Toto je víceúrovňová mezipaměť.
Tato hierarchie umožňuje počítačům reagovat, i když technicky přesouvají obrovské množství dat. Data, která používáte nejčastěji, zůstávají blíže procesoru. Zbytek čeká v pozadí.
Jak mezipaměti L1, L2 a L3 zvyšují rychlost procesoru
Čas je nepřítelem výpočetní techniky. Čas procesoru se měří v nanosekundách. Když mikroprocesor přistupuje k paměti RAM (random access memory), čeká asi 60 nanosekund. Zdá se to být velmi pomalé. Pro čip s krátkým cyklem 2 nanosekund je 60 nanosekund věčnost.
Řešení spočívá v hierarchii rychlostí. Inženýři vytvořili na základní desce speciální paměťovou banku. Je to malé. Je rychlý. Přístupová doba je asi 30 nanosekund. To je dvakrát rychlejší než hlavní paměť. Toto je mezipaměť druhé úrovně, neboli L2.
Pak je tu mezipaměť první úrovně, neboli L1. Tato malá, vysokorychlostní paměť byla umístěna přímo na čip mikroprocesoru. Data jsou nyní přenášena rychlostí samotného procesoru, nikoli paměťovou sběrnicí. V procesoru Pentium 233 MHz je L1 cache 3,5krát rychlejší než L2 cache, což je zase dvakrát rychlejší než RAM.
Některé nové čipy jsou ještě pokročilejší. Zabudovali dvě vyrovnávací vrstvy přímo do křemíkového substrátu. Když k tomu dojde, mezipaměť základní desky se posune na úroveň tři, neboli L3. Vytvoří se rychlostní žebřík.
Nejrychlejší věc v počítači je mikroprocesor. L1 ukládá L2. L2 ukládá hlavní paměť do mezipaměti. Hlavní paměť pak ukládá do mezipaměti pomalejší periferní zařízení, jako jsou pevné disky a disky CD-ROM. Pevné disky mohou také ukládat do mezipaměti vaše internetové připojení.
Mezipaměť prohlížeče: proč se webové stránky načítají rychleji
Přístup k internetu se stal úzkým hrdlem. Toto je nejpomalejší článek v řetězu. Webové prohlížeče jako Chrome a Safari si jsou tohoto problému vědomy. Používají váš pevný disk jako dočasné úložiště.
Když poprvé otevřete stránku HTML, váš prohlížeč stránku stáhne a uloží její kopii do konkrétní složky na disku. Vykreslí stránku. Vidíš ji.
Až příště kliknete na adresu URL, váš prohlížeč zkontroluje časové razítko. Porovnává datum souboru uloženého v mezipaměti na disku s datem souboru na webovém serveru. Pokud soubor na serveru nebyl aktualizován, prohlížeč stahování přeskočí. Poskytne místní kopii.
Rychlejším paměťovým systémem je pevný disk. Pomalejší a větší systém je internet.
Experimenty s mezipamětí pevného disku a disketami
Mezipaměti nejsou jen ve vašem procesoru nebo prohlížeči. Jsou k dispozici také na periferních zařízeních. Moderní pevné disky mají rychlou paměť. Obvykle kolem 512 kB. Tuto paměť spravuje řadič pevného disku, nikoli přímo počítač.
Když systém požaduje data, ovladač nejprve zkontroluje tuto vnitřní mezipaměť. K tomu dochází předtím, než se hlava mechanického pohonu pohne. Mechanický pohyb je pomalý. Přístup do paměti je okamžitý. Pokud jsou data již uložena v mezipaměti, řadič je okamžitě vrátí. Hlava se nikdy nepohne. Ušetříte čas.
Fungování této keše si můžete sami ověřit. Vyzkoušejte experiment s disketou. Diskety jsou velmi pomalé.
Otevřete velký soubor, například textový soubor o velikosti 300 kB. Rozsvítí se kontrolka pohonu. Počkejte. Bootování trvá asi 20 sekund, zatímco disk fyzicky vyhledává data.
Nyní zavřete editor. Okamžitě otevřete stejný soubor znovu. Nečekejte 30 minut. Nezaplňujte si paměť jinými úkoly. Kontrolka pohonu se nerozsvítí. Soubor se stáhne okamžitě.
Operační systém kontroluje data z diskety v mezipaměti. Ona je najde.
Rozdíl je zřejmý. Jeden přístup na disketu trvá 120 milisekund. Přístup k hlavní paměti trvá asi 60 nanosekund. To je obrovský rozdíl v rychlosti. Tento test lze provést i s pevným diskem, ale výsledky jsou méně patrné. Disketa zviditelní zpoždění.
Hierarchie mezipaměti: rychlost a velikost
Abyste celému systému porozuměli, podívejte se na čísla.
- L1 Cache : Ukládání do mezipaměti při plné rychlosti mikroprocesoru. Přístupová doba je asi 10 nanosekund. Velikost se pohybuje od 4 KB do 16 KB.
- L2 cache : Přístup založený na SRAM. Trvá 20–30 nanosekund. Velikost se obvykle pohybuje mezi 128 a 512 kB.
- Hlavní paměť : Běžná paměť s náhodným přístupem (RAM). Přístupová doba je asi 60 nanosekund. Velikost se pohybuje od 32 MB do 128 MB.
- Pevný disk (HDD) : Mechanický a pomalý. Doba přístupu je asi 12 milisekund. Velikost od 1 GB do 10 GB.
- Internet : Neuvěřitelně pomalý. Zpoždění se pohybuje od 1 sekundy až po dny. Velikost je prakticky neomezená.
L1 ukládá L2. L2 ukládá hlavní paměť do mezipaměti. Hlavní paměť ukládá disk do mezipaměti. Disk ukládá síť do mezipaměti.
Jedná se o štafetový závod, kde je každý běžec rychlejší než ten předchozí. Data se však vždy přenášejí z pomalejší strany na rychlejší. Pokud dojde ke chybě keš, počkáte. Pokud je to cache hit, pak ne. Celkový výkon počítače je určen tím, jak často se nachází mezi rychlou, malou pamětí a pomalým, velkým úložištěm.
Představte si svět, kde by každý bajt paměti RAM vašeho počítače byl stejně rychlý jako mezipaměť L1 procesoru. Bylo by to bleskové. Takový přístup by ale také vedl k bankrotu.
Toto je základní kompromis v počítačové architektuře. Potřebujete rychlost, ale také se musíte ujistit, že váš bankovní účet nezmizí, když si koupíte nový počítač. Ukládání do mezipaměti je tento kompromis. Použití malého množství drahé, rychlé paměti k urychlení velkého množství levné, pomalé paměti.
Tady je matematika za tímto šílenstvím.
Moderní 500 MHz procesory provedou 500 milionů cyklů za sekundu. Jedná se o jeden cyklus každé 2 nanosekundy. Pokud váš CPU musí čekat na RAM, narazíte na zeď. Přístup do hlavní paměti trvá asi 60 nanosekund. To je asi 30 promarněných cyklů. 30 cyklů. Zmizí. K plýtvání dochází, když procesor čeká na data z pomalého úložiště.
Bez mezipaměti L1 a L2 by váš počítač většinu času seděl nečinně a čekal, až se paměť zachytí.
Kouzlo malé kešky
Zvažte 256 KB L2 cache spravující 64 MB RAM. To se zhruba rovná 256 000 bajtů mezipaměti až 64 000 000 bajtů paměti.
Jak může tak malá a rychlá paměť spravovat velké množství dat? Funguje na principu zvaném link locality.
Ačkoli to zní akademicky, koncept je intuitivní. V poměrně složitých programech nepoužíváte celý kód najednou. Pouze malá část je znovu použita. I když je velikost spustitelného souboru 10 megabajtů, je aktivních pouze několik set bajtů za sekundu. A tyto specifické bajty se objevují znovu a znovu.
Procesor nemusí pokaždé načítat kód a data z pomalé hlavní paměti. Jsou získávány z mezipaměti. Mezipaměť zasáhne cíl téměř pokaždé, protože se neustále znovu používají stejné bity.
Odkaz na lokalitu v akci
Podívejme se na jednoduchou logickou sekvenci, abychom pochopili, proč tomu tak je. Představte si program, který vás požádá o zadání čísla mezi 1 a 100.
- Program čeká na zadání.
- Uložte své číslo do proměnné X.
- Nastavte proměnnou Y na 100.
- Nastavte proměnnou Z na 1.
- Smyčka: Vydělte Z X.
- Pokud je zbytek nula, vytiskněte „Z je násobek X“.
- Přidejte 1 k Z.
- Opakujte krok 5, dokud Z nedosáhne Y.
Řádky 1 až 4 se provedou pouze jednou. Smyčka (řádky 5 až 8) se provede 100krát.
Procesor opakovaně provádí smyčkové instrukce. Tyto instrukce zůstávají v mezipaměti, takže se provádějí plnou rychlostí. A co zbytek programu? Proběhne jednou a pak zmizí.
Toto je odkazová lokalita jednoduchými slovy. Přibližně 95 % doby provádění programu je vynaloženo na provádění malé sady opakujícího se kódu. Textové editory dělají totéž. Tráví 95 % svého času čekáním, až napíšete nebo obnovíte obrazovku. Kód, který zpracovává interakci, je v mezipaměti. Zbývajících 5 % dělá těžkou práci: formátování, kontrolu pravopisu a ukládání.
Zachování těchto 5 % v rychlé paměti způsobí, že váš procesor bude okamžitě reagovat. Uživatelé jej považují za citlivý. Výrobci šetří peníze tím, že nepoužívají SRAM (statická paměť s náhodným přístupem) k vytvoření 64MB modulů RAM. Pro hromadné svazky se používá DRAM (dynamická paměť) a pro mezipaměť SRAM.
Není to dokonalá rovnováha. Někdy dojde k chybě mezipaměti a procesor musí stále čekat. Ale v 95% případů to funguje. Proto neztrácíme čas stavbou počítačů z rychlé paměti. Tohle si nemůžeme dovolit. Získejte 95% účinnost za zlomek nákladů.
Často kladené otázky
Jaký je účel mezipaměti?
Ukládání do mezipaměti ukládá data do dočasného a rychlého umístění, takže je lze získat rychleji než při přístupu k hlavnímu úložišti. Snižuje latenci a zlepšuje výkon systému.
Co je mezipaměť?
Ukládání do mezipaměti ukládá často používaná data na vyhrazená místa (cache), ke kterým lze přistupovat rychleji než k hlavní paměti nebo diskovému úložišti. To umožňuje procesoru načítat data bez zpoždění hlavní paměti.
Co je ukládání do mezipaměti a jak to funguje?
Cachování je technika, která využívá principu umístění referencí. Předpovídá, jaká data bude procesor dále potřebovat a ukládá je do rychlé paměti. Když si procesor tyto informace vyžádá, okamžitě je najde v mezipaměti, místo aby čekal na jejich doručení z pomalejší hlavní paměti.
