Apa itu cache dan mengapa Anda memerlukannya di komputer Anda?

22

Jika akhir-akhir ini Anda ingin membeli laptop baru, kemungkinan besar Anda pernah mendengar istilah ini. Seorang teman atau kerabat yang paham teknologi mungkin memperingatkan Anda agar tidak menggunakan chip Celeron yang lebih murah, dengan alasan kurangnya “cache”. Ini sepertinya merupakan detail kecil dalam spesifikasinya. tidak.

Apa itu cache? Ini adalah lapisan penyimpanan data berkecepatan tinggi yang terletak di antara prosesor dan memori utama. Tanpanya, komputasi modern akan berjalan lambat.

Komputer menggunakan cache di mana-mana. Di dalam prosesor terdapat cache L1, L2 dan seringkali L3. Berikutnya, sistem operasi memiliki cache memori, cache halaman, dan cache disk. Memori virtual juga bertindak sebagai semacam cache. Mempercepat tugas dan mengurangi biaya perangkat keras. Cara kerjanya dalam praktik.

Analogi pustakawan: tidak ada cache

Untuk memahami logikanya, mari kita lepaskan silikonnya dan gunakan pustakawan. Bayangkan sebuah perpustakaan di mana Anda tidak bisa menyentuh bukunya sendiri. kamu bertanya kepada pustakawan yang berlari ke ruang penyimpanan belakang untuk mengambil buku itu.

Pelanggan pertama tiba. Dia menginginkan Moby Dick. Pustakawan masuk ke ruang penyimpanan, mengeluarkan sebuah buku dan menyerahkannya kepadanya. Pelanggan mengembalikan bukunya nanti. Pustakawan membawanya kembali ke ruang penyimpanan. Dia kembali ke mejanya dan menunggu.

Pelanggan berikutnya menginginkan Moby Dick lagi. Pustakawan harus berkeliling lagi ke seluruh ruang penyimpanan. Bahkan untuk judul-judul populer, dia melakukan pekerjaan tidak efisien yang sama setiap saat.

Beginilah cara kerja komputer tanpa cache. Menggunakan memori utama (penyimpanan) untuk setiap permintaan terlepas dari frekuensinya.

Analogi pustakawan: menggunakan cache

Sekarang berikan pustakawan itu sebuah ransel kepada pustakawan. Dia bisa membawa hingga 10 buku. Ransel ini adalah cache.

Hari baru telah dimulai. Ranselnya kosong. Pelanggan pertama menginginkan Moby Dick. Pustakawan pergi ke gudang, mengambil buku itu dan menyerahkannya. Pelanggan mengembalikan buku tersebut. Alih-alih membawanya kembali ke ruang penyimpanan, pustakawan malah menyimpannya di ranselnya. Dia tetap duduk di mejanya.

Pelanggan lain datang. Saya ingin Moby Dick. Pustakawan pertama-tama mencari ransel. Buku itu ada di sana. Dia segera menyerahkannya. Tidak ada perjalanan ke gudang. Pelanggan mendapatkan layanan lebih cepat.

Ini adalah cache hit. Produk ini ditemukan dalam penyimpanan cepat.

Cache Hilang dan Latensi

Bagaimana jika pelanggan meminta buku yang tidak ada di ransel? Pustakawan harus mencari tasnya terlebih dahulu. Baru kemudian dia menyadari bahwa itu hilang. Lalu dia berlari ke gudang.

Ini adalah kehilangan cache.

Apakah hal ini membuat pustakawan menjadi kurang efisien? Secara teknis ya. Dia membuang waktu untuk memeriksa tasnya terlebih dahulu. Namun dalam komputasi, penundaan ini dapat diabaikan. Perangkat keras modern memeriksa ketersediaan cache dalam nanodetik. Sebagai perbandingan, jalur menuju “penyimpanan” (memori utama) sangatlah besar. Hukuman untuk hilang lebih kecil dibandingkan dengan hukuman karena tidak melakukan cache.

Aturan cache yang penting

Dari model sederhana ini, kita melihat mekanisme inti.

  • Kecepatan dan Ukuran: Cache menggunakan memori yang lebih cepat dan lebih kecil untuk mempercepat memori yang lebih lambat dan lebih besar. Ia bekerja dengan sistem operasi, server web, dan perangkat keras.
  • Hit dan Miss: Periksa cache terlebih dahulu. Apakah Anda menemukannya? Memukul. Tidak ditemukan? Nona. Sistem kemudian harus mengambil data dari kumpulan yang lebih besar dan lebih lambat.
  • Batasan ukuran: Memori cache selalu lebih kecil dari memori utama. Anda tidak bisa memasukkan seluruh perpustakaan ke dalam ransel.
  • Beberapa Lapisan: Ini dapat ditumpuk. Pustakawan kami dapat memiliki rak (tempat penyimpanan yang lebih besar) dan ransel (tempat penyimpanan yang lebih kecil dan lebih cepat) di belakang meja kasir. Dia memeriksa ranselnya, lalu raknya, lalu ruang penyimpanannya. Ini adalah cache bertingkat.

Hierarki ini membuat komputer terasa gesit, bahkan ketika secara teknis menangani data dalam jumlah besar. Data yang paling sering Anda gunakan tetap dekat dengan prosesor. Sisanya menunggu di latar belakang.

Bagaimana cache L1, L2 dan L3 meningkatkan kecepatan CPU

Waktu adalah musuh komputasi. Mengukur waktu prosesor dalam nanodetik. Ketika mikroprosesor mengakses RAM, ia menunggu sekitar 60 nanodetik. Rasanya sangat lambat. Untuk sebuah chip dengan waktu siklus pendek 2 nanodetik, 60 nanodetik adalah selamanya.

Solusinya adalah kelas kecepatan. Para insinyur telah membangun bank memori khusus pada motherboard. Itu kecil. Ini cepat. Akses memakan waktu sekitar 30 nanodetik. Ini dua kali lebih cepat dari memori utama. Ini adalah cache level kedua atau L2.

Lalu ada cache level pertama atau L1. Mereka menempatkan memori kecil berkecepatan tinggi ini langsung pada chip mikroprosesor. Data sekarang ditransfer dengan kecepatan prosesor itu sendiri, bukan pada bus memori. Pada Pentium 233 MHz, cache L1 3,5 kali lebih cepat dari cache L2, yang dua kali lebih cepat dari RAM.

Beberapa chip baru bahkan lebih canggih. Mereka menyematkan dua lapisan cache di dalam cetakan silikon. Ketika ini terjadi, cache motherboard didorong ke level 3 atau L3. Ini menciptakan tangga kecepatan.

Hal tercepat di komputer adalah mikroprosesor. L1 menyimpan cache L2. Memori utama cache L2. Memori utama kemudian menyimpan cache periferal yang lebih lambat seperti hard drive dan CD-ROM. Hard drive juga dapat menyimpan koneksi Internet Anda dalam cache.

Cache browser: mengapa halaman web dimuat lebih cepat

Akses internet telah menjadi hambatan. Ini adalah mata rantai paling lambat dalam rantai tersebut. Browser web seperti Chrome dan Safari mengetahui hal ini. Mereka menggunakan hard drive Anda sebagai penyimpanan sementara.

Saat Anda mengakses halaman HTML untuk pertama kalinya, browser Anda memuat halaman tersebut dan menyimpan salinannya di folder tertentu di disk Anda. Render halamannya. Anda melihatnya.

Saat berikutnya Anda mengeklik URL, browser Anda akan memeriksa stempel waktunya. Membandingkan tanggal file cache pada disk dengan tanggal server Web. Jika file server bukan file baru, browser akan melewatkan pengunduhan. Ini melayani salinan lokal.

Sistem memori yang lebih kecil dan lebih cepat adalah hard disk. Sistem yang lebih besar dan lebih lambat adalah Internet.

Bereksperimen dengan cache hard disk dan floppy drive

Cache tidak hanya ada di CPU atau browser Anda. Ia hidup di periferal. Hard drive modern memiliki memori yang cepat. Biasanya sekitar 512 KB. Pengontrol hard disk mengelola memori ini, bukan komputer yang mengelolanya secara langsung.

Saat sistem meminta data, driver terlebih dahulu memeriksa cache internal ini. Hal ini dilakukan sebelum menggerakkan kepala mekanis penggerak. Gerakan mekanisnya lambat. Akses ke memori bersifat langsung. Jika data di-cache, pengontrol segera kembali. Kepala tidak pernah bergerak. Anda menghemat waktu.

Anda dapat memeriksa sendiri perilaku cache ini. Cobalah bereksperimen dengan floppy drive. Floppy disk sangat lambat.

Buka file besar, seperti file teks 300KB. Lampu floppy disk menyala. Tunggu. Dibutuhkan sekitar 20 detik untuk memuat sementara drive mencari data secara fisik.

Sekarang tutup editornya. Segera buka kembali file yang sama. Jangan menunggu 30 menit. Jangan mengisi memori dengan tugas lain. Lampu floppy tidak menyala. File dimuat secara instan.

Sistem operasi memeriksa cache memori untuk data floppy. Ia menemukannya.

Perbedaannya jelas. Satu akses ke floppy disk membutuhkan waktu 120 milidetik. Mengakses memori utama membutuhkan waktu sekitar 60 nanodetik. Itu adalah kesenjangan kecepatan yang sangat besar. Tes ini dapat dilakukan pada hard drive, namun hasilnya tidak begitu terlihat. Floppy membuat latensi terlihat.

Hierarki cache: kecepatan dan ukuran

Untuk memahami keseluruhan sistem, lihatlah angka-angkanya.

  • L1 cache : Memori cache dengan kecepatan penuh mikroprosesor. Waktu aksesnya sekitar 10 nanodetik. Ukurannya bervariasi dari 4 KB hingga 16 KB.
  • L2 cache : Akses berbasis SRAM. Dibutuhkan 20-30 nanodetik. Ukurannya biasanya antara 128 dan 512 KB.
  • Memori Utama : RAM Normal. Akses memakan waktu sekitar 60 nanodetik. Ukurannya bervariasi dari 32 MB hingga 128 MB.
  • HDD : Mekanis dan lambat. Akses memakan waktu sekitar 12 milidetik. Ukurannya mulai dari 1 GB hingga 10 GB.
  • Internet : Sangat lambat. Latensi berkisar dari 1 detik hingga beberapa hari. Ukurannya praktis tidak terbatas.

L1 menyimpan cache L2. Memori utama cache L2. Disk cache memori utama. Disk menyimpan cache jaringan.

Ini adalah perlombaan estafet dimana setiap pelari lebih cepat dari yang terakhir. Namun, data selalu ditransfer dari sisi yang lebih lambat ke sisi yang lebih cepat. Jika cache tidak ada, tunggu saja. Jika berhasil, Anda tidak akan melakukannya. Performa mesin secara keseluruhan ditentukan oleh seberapa sering mesin tersebut berada di antara memori yang cepat dan kecil serta penyimpanan yang lambat dan besar.

Bayangkan sebuah dunia di mana setiap byte RAM komputer Anda berlari secepat cache L1 CPU Anda. Itu akan menjadi kilat. Ini juga akan bangkrut.

Ini adalah trade-off mendasar dalam arsitektur komputer. Anda memerlukan kecepatan, namun Anda juga perlu memastikan rekening bank Anda tidak hilang saat Anda membeli komputer baru. Caching adalah kompromi. Gunakan memori yang mahal dan cepat dalam jumlah kecil untuk mempercepat memori yang murah dan lambat dalam jumlah besar.

Inilah perhitungan di balik kegilaan ini.

Chip 500 MHz modern menyelesaikan 500 juta siklus per detik. Ini adalah satu siklus setiap 2 nanodetik. Jika CPU Anda harus menunggu RAM, Anda akan menemui jalan buntu. Mengakses memori utama membutuhkan waktu sekitar 60 nanodetik. Ini berarti sekitar 30 siklus terbuang. 30 siklus. Hilang. Pemborosan terjadi ketika prosesor menunggu data datang dari penyimpanan yang lambat.

Tanpa cache L1 dan L2, komputer Anda akan menganggur hampir sepanjang masa pakainya, menunggu memori terisi.

Keajaiban cache kecil

Pertimbangkan cache L2 256KB yang mengelola RAM 64MB. Ini kira-kira setara dengan rasio 256.000 byte cache hingga 64.000.000 byte.

Bagaimana memori yang kecil dan cepat dapat mengelola data dalam jumlah besar? Ia bekerja berdasarkan prinsip yang disebut lokalitas referensi.

Meski terdengar akademis, konsepnya intuitif. Dalam program yang cukup rumit, Anda tidak akan menggunakan semua kode secara bersamaan. Hanya sebagian kecil yang digunakan kembali. Meskipun file yang dapat dieksekusi berukuran 10 megabyte, hanya beberapa ratus byte yang aktif per detik. Dan byte spesifik itu? Mereka muncul lagi dan lagi.

CPU tidak perlu mengambil kode dan data dari memori utama yang lambat setiap kali diperlukan. Ambil dari cache. Cache terkena hampir setiap saat karena bit yang sama terus digunakan kembali.

Lokalitas Referensi dalam Tindakan

Mari kita lihat alur logis sederhana untuk mengetahui mengapa hal ini terjadi. Bayangkan sebuah program yang meminta Anda memasukkan angka antara 1 dan 100.

  1. Program menunggu masukan.
  2. Simpan nomor Anda dalam variabel X.
  3. Tetapkan variabel Y menjadi 100.
  4. Atur variabel Z ke 1.
  5. Perulangan: Bagi Z dengan X.
  6. Jika sisanya nol, cetak “Z kelipatan X.”
  7. Ia menambahkan 1 ke Z.
  8. Ulangi langkah 5 hingga Z mencapai Y.

Baris 1 sampai 4 dijalankan hanya sekali. Perulangan (baris 5 hingga 8) berjalan 100 kali.

Prosesor mengeksekusi instruksi loop berulang kali. Instruksi ini tetap disimpan dalam cache sehingga dieksekusi dengan kecepatan penuh. Bagaimana dengan program lainnya? Ini berjalan sekali dan kemudian menghilang.

Ini adalah lokalitas referensi dalam bahasa Inggris sederhana. Sekitar 95% waktu eksekusi program dihabiskan untuk mengeksekusi sekumpulan kecil kode berulang. Pengolah kata melakukan hal yang sama. Mereka menghabiskan 95% waktunya menunggu Anda mengetik atau memperbarui layar. Kode yang menangani interaksi di-cache. 5% sisanya melakukan pekerjaan berat: memformat, memeriksa ejaan, dan menyimpan.

Dengan menjaga 5% tersebut tetap panas dalam memori cepat, CPU Anda akan terasa seperti bekerja secara instan. Pengguna menganggapnya responsif. Produsen menghemat uang dengan tidak harus menggunakan SRAM (Static Random Access Memory) untuk membuat modul RAM 64 MB. Ia menggunakan DRAM (Dynamic RAM) untuk massal dan SRAM untuk cache.

Ini bukanlah keseimbangan yang sempurna. Terkadang cache hilang dan CPU masih harus menunggu. Tapi 95% berhasil. Itu sebabnya kami tidak repot-repot membuat komputer dengan memori cepat, Kami tidak mampu melakukannya. Dapatkan efisiensi 95% dengan biaya yang lebih murah.

Pertanyaan yang sering diajukan

Apa gunanya cache?
Caching menyimpan data di lokasi sementara dan cepat sehingga dapat diambil lebih cepat dibandingkan mengakses penyimpanan utama. Mengurangi latensi dan meningkatkan kinerja sistem.

Apa itu cache memori?
Caching dalam memori menyimpan data yang sering diakses di lokasi yang dicadangkan (cache) yang dapat diakses lebih cepat daripada RAM utama atau penyimpanan disk. Hal ini memungkinkan prosesor mengambil data tanpa latensi memori utama.

Apa itu caching dan bagaimana cara kerjanya?
Caching adalah teknik yang memanfaatkan lokalitas referensi. Ini memprediksi data apa yang dibutuhkan CPU selanjutnya dan menyimpannya dalam memori cepat. Ketika prosesor meminta informasi ini, ia segera menemukannya di cache alih-alih menunggu informasi tersebut dikirimkan dari memori utama yang lebih lambat.

Informasi lengkap

Попередня статтяPengaturan MuseScore 4, kompatibilitas dan sumber daya komunitas
Наступна статтяPemeriksaan Keamanan Facebook saat terjadi bencana