High-Bandwidth Flash HBF Jadi Solusi Baru untuk Mengatasi Hambatan Memori AI

High-Bandwidth Flash (HBF) – mulai muncul sebagai teknologi yang berpotensi menjawab salah satu tantangan besar dalam perkembangan kecerdasan buatan, yaitu kebutuhan memori berkapasitas besar dengan akses berkecepatan tinggi. Pertumbuhan model AI yang kini memiliki ratusan miliar hingga triliunan parameter membuat kebutuhan penyimpanan dan perpindahan data meningkat secara signifikan.

Selama ini, industri AI banyak mengandalkan High Bandwidth Memory (HBM) untuk mendukung GPU dan berbagai akselerator komputasi. HBM menawarkan kemampuan transfer data hingga beberapa terabyte per detik. Kecepatan tersebut membuat teknologi ini sangat penting untuk menjalankan model AI berukuran besar.

Namun, penggunaan HBM menghadapi dua kendala utama. Pertama, biaya produksinya relatif tinggi. Kedua, ruang untuk menempatkan HBM di sekitar akselerator sangat terbatas. Akibatnya, produsen tidak dapat terus menambah kapasitas memori tanpa mempertimbangkan ukuran fisik, desain chip, dan biaya.

SK hynix dan Sandisk kemudian mencoba menawarkan pendekatan berbeda. Kedua perusahaan memperkenalkan spesifikasi teknis terbuka pertama untuk HBF melalui Open Compute Project (OCP). Pengenalan tersebut berlangsung dalam konferensi Future of Memory and Storage (FMS) 2026 di Santa Clara, Amerika Serikat, pada 4–6 Agustus 2026.

Teknologi tersebut dikembangkan bersama sejumlah mitra di industri AI, termasuk Google DeepMind dan Tenstorrent. Pengembang HBF menargetkan teknologi ini sebagai lapisan memori baru yang menjembatani perbedaan karakteristik antara HBM dan solid-state drive (SSD).

Kebutuhan Memori AI Terus Membesar

Perkembangan model AI membuat kapasitas memori menjadi semakin penting. Model AI modern menggunakan parameter sebagai salah satu komponen utama untuk memproses informasi, menghasilkan respons, serta membuat prediksi.

Semakin besar sebuah model, semakin banyak pula parameter yang perlu tersedia ketika sistem melakukan komputasi. Model dengan ratusan miliar atau bahkan triliunan parameter tentu membutuhkan kapasitas memori sangat besar.

Pada saat yang sama, GPU dan akselerator AI membutuhkan aliran data dengan kecepatan tinggi. HBM mampu memenuhi kebutuhan tersebut karena produsen menempatkannya sangat dekat dengan prosesor. Oleh karena itu, sistem dapat mengakses data jauh lebih cepat dibandingkan ketika mengambilnya dari media penyimpanan konvensional.

Meski demikian, produsen tidak dapat meningkatkan kapasitas HBM tanpa batas. Teknologi tersebut membutuhkan ruang pada paket akselerator dan komponen khusus seperti interposer.

Kondisi inilah yang kemudian melahirkan istilah memory wall. Istilah tersebut menggambarkan situasi ketika perkembangan kemampuan komputasi berjalan lebih cepat dibandingkan peningkatan kapasitas serta kemampuan sistem memori.

SSD juga belum mampu sepenuhnya menyelesaikan persoalan tersebut. Media penyimpanan ini memang menawarkan kapasitas besar dengan harga yang lebih terjangkau. Namun, performanya masih berada di bawah HBM.

Selain itu, perpindahan data melalui koneksi PCIe dapat meningkatkan latensi. Kondisi tersebut berpotensi mengurangi throughput ketika sistem AI harus mengambil data dalam jumlah besar secara terus-menerus.

HBF Menjadi Lapisan di Antara HBM dan SSD

HBF hadir untuk mengisi ruang antara HBM dan SSD. Teknologi ini tidak dirancang untuk menggantikan HBM sepenuhnya. Sebaliknya, HBF memberikan pilihan tambahan ketika kapasitas HBM tidak cukup menampung seluruh parameter model.

HBF memanfaatkan teknologi 3D NAND dan 4D NAND dengan tingkat kepadatan tinggi. Produsen dapat menyusun komponen tersebut menggunakan konfigurasi delapan atau 16 lapisan die.

Satu tumpukan HBF berpotensi menawarkan kapasitas hingga 512 GB. Kapasitas tersebut menjadi salah satu keunggulan penting ketika pusat data menjalankan model AI dalam skala besar.

NAND flash sebenarnya bukan teknologi baru. Industri sudah menggunakannya secara luas pada SSD. Namun, HBF menerapkan pendekatan berbeda melalui konsep near-memory. Dengan desain tersebut, memori berada jauh lebih dekat dengan perangkat komputasi dibandingkan penyimpanan SSD biasa.

Akselerator AI nantinya dapat menempatkan parameter yang tidak muat di HBM ke dalam HBF. Sistem kemudian dapat mengakses parameter tersebut tanpa harus selalu mengambilnya dari SSD melalui PCIe.

Pendekatan ini berpotensi mengurangi hambatan perpindahan data sekaligus memberikan kapasitas tambahan bagi akselerator AI.

HBF Cocok untuk AI Inference dan Mixture of Experts

Salah satu penggunaan yang potensial bagi HBF adalah AI inference. Pada tahap ini, model yang telah menjalani proses pelatihan menggunakan parameter yang tersedia untuk menghasilkan respons atau prediksi.

HBF juga berpotensi mendukung model yang menggunakan arsitektur Mixture of Experts (MoE). Arsitektur ini tidak mengaktifkan seluruh parameter setiap kali sistem memproses token.

Sebaliknya, sistem hanya menggunakan bagian tertentu sesuai kebutuhan komputasi. Karena itu, sebagian parameter dapat tersimpan dalam lapisan memori berkapasitas besar dan baru diakses ketika sistem membutuhkannya.

Karakteristik tersebut membuat HBF dapat menjadi tempat penyimpanan parameter yang tidak perlu selalu berada di HBM.

Bandwidth HBF Bisa Mencapai 3 TB per Detik

Spesifikasi awal yang diperkenalkan melalui OCP membagi kemampuan bandwidth HBF menjadi tiga kategori, yakni Grade 1, Grade 2, dan Grade 3.

Rentang bandwidth antarmukanya mulai sekitar 400 GB per detik dan dapat mencapai 3 TB per detik. Dengan kemampuan tersebut, HBF menawarkan performa yang lebih dekat dengan kebutuhan infrastruktur AI berperforma tinggi dibandingkan media penyimpanan konvensional.

Penggunaan arsitektur flash generasi baru juga berpotensi meningkatkan efisiensi energi. Sebagai contoh, teknologi V10 4D NAND 375-layer dari SK hynix diklaim dapat meningkatkan efisiensi daya hingga 2,5 kali dibandingkan flash server standar.

Sementara itu, HBF menggunakan Universal Chiplet Interconnect Express (UCIe) untuk membangun komunikasi dengan akselerator.

UCIe merupakan standar interkoneksi yang memungkinkan beberapa chiplet berkomunikasi dalam satu sistem. Teknologi tersebut memungkinkan produsen menempatkan HBF dekat dengan GPU maupun Application-Specific Integrated Circuit (ASIC).

ASIC sendiri merupakan chip yang dikembangkan untuk menjalankan fungsi tertentu. Dalam infrastruktur kecerdasan buatan, produsen dapat merancang ASIC secara khusus untuk mempercepat proses komputasi AI.

Dengan kombinasi tersebut, HBF berpotensi memperbesar kapasitas memori yang dapat dijangkau akselerator tanpa mengharuskan produsen memasang HBM dalam jumlah berlebihan.

HBF Masih Berfokus pada Pusat Data AI

Meskipun menawarkan kemampuan menarik, konsumen kemungkinan belum akan menemukan HBF pada laptop, komputer desktop, maupun GPU konsumen dalam waktu dekat.

Implementasi teknologi tersebut membutuhkan sistem pengemasan 3D yang kompleks, silicon interposer, serta dukungan lapisan fisik UCIe. Berbagai kebutuhan tersebut membuat biaya produksinya masih cukup tinggi untuk perangkat konsumen.

Karena itu, pengembang saat ini lebih mengarahkan HBF ke pusat data dan akselerator AI khusus. Teknologi tersebut berpotensi mendukung model bahasa besar dengan context window panjang, arsitektur MoE, hingga sistem AI multiagen yang membutuhkan kapasitas memori besar.

Kehadiran HBF juga tidak menandakan berakhirnya penggunaan HBM. Kedua teknologi justru dapat menjalankan fungsi yang saling melengkapi.

HBM tetap menangani data yang membutuhkan akses dengan kecepatan sangat tinggi. Sementara itu, HBF dapat menyediakan kapasitas tambahan untuk parameter yang tidak harus selalu berada di HBM. SSD kemudian tetap berperan sebagai lapisan penyimpanan dengan kapasitas yang jauh lebih besar.

Pendekatan bertingkat tersebut berpotensi membantu industri menghadapi memory wall seiring ukuran model AI terus meningkat. Jika ekosistem HBF berkembang dan biaya implementasinya menurun, teknologi ini dapat menjadi salah satu komponen penting dalam pembangunan infrastruktur AI generasi berikutnya.