6 Metrik Utama untuk Memilih GPU bagi Pusat Komputasi AI: Perbandingan Mendalam H100/H200/B200/B300 vs. Ascend 910B/910C/950PR | Changfan Industrial Control

Pendahuluan: Pemilihan kartu menentukan segalanya, tetapi «kartu» bukanlah chip

Pada tahun 2026, ambang investasi di pusat komputasi AI telah bergeser dari «mendapatkan kartu» menjadi «memilih kartu yang tepat»: satu klaster bernilai ratusan juta yuan, dan kesalahan pemilihan berarti siklus pelatihan berlipat ganda, pengeluaran inferensi di luar kendali, dan jalur teknis yang usang dalam tiga tahun. Sebagian besar kesalahan pemilihan berasal dari tindakan yang sama — menggunakan lembar spesifikasi sebagai dasar keputusan.

Lembar spesifikasi tidak akan memberi tahu Anda bahwa klaster 10.000 GPU menghentikan pelatihan rata-rata setiap 3 jam; bahwa kinerja kartu tunggal 2,3 kali lebih tinggi hanya memangkas waktu pelatihan menjadi setengah; bahwa B300 dengan daya desain termal 1.400 watt di ruang berpendingin udara tidak lebih dari pajangan mahal; atau bahwa migrasi dari CUDA ke CANN dapat menelan seluruh margin proyek. Artikel ini melampaui sekadar daftar parameter, membandingkan secara komprehensif NVIDIA H100/H200/B200/B300 dan Ascend 910B/910C/950PR melalui enam indikator inti yang menentukan ROI pusat komputasi AI, sambil menyediakan matriks keputusan berbasis skenario yang siap pakai dan daftar periksa kesalahan.

Kesimpulan dulu: Lima penilaian kontra-intuitif

• Inti pemilihan kartu adalah memilih model bisnis, bukan daya komputasi. Unit biaya bisnis pelatihan adalah «waktu dan listrik untuk melatih satu model besar»; unit biaya bisnis inferensi adalah «per juta token». Pahami dulu dari mana Anda menghasilkan uang, baru diskusikan kartu mana yang dibeli.

• Kapasitas memori video menentukan apakah model bisa berjalan, bandwidth menentukan seberapa cepat, dan interkoneksi menentukan seberapa besar. Nilai TFLOPS di lembar spesifikasi hanya berlaku jika Anda berhasil menjenuhkannya — dalam praktiknya, banyak GPU beroperasi dengan tingkat pemanfaatan efektif (MFU) di bawah setengah.

• Chip hanya menyumbang 30–40% dari total biaya. Listrik, pendingin cairan, jaringan, dan lima tahun operasi menelan 60% sisanya — memilih kartu pada dasarnya adalah memilih infrastruktur lengkap.

• Membeli B300 berarti membeli ruang mesin berpendingin cairan. Dengan ~1.400 watt per kartu, ia melampaui batas pendinginan udara; jika listrik dan pendingin fasilitas tidak memenuhi tingkat yang dibutuhkan, bahkan kartu terkuat pun akan berjalan dengan pelambatan termal.

• Tidak ada kartu yang mutlak terbaik — hanya ada kartu yang paling cocok dengan beban kerja Anda. H100 sama sekali belum usang, Ascend 910C tak tergantikan dalam skenario kepatuhan Xinchuang, dan 950PR menandai langkah berikutnya komputasi domestik — jawabannya selalu bergantung pada profil beban kerja Anda.

Tujuh chip, empat posisi di pasar

Sebelum masuk ke indikator, mari bangun pemahaman dasar: ketujuh chip ini tidak berada dalam hubungan linier «lebih cepat atau lebih lambat» — mereka menempati empat posisi pasar yang sama sekali berbeda:

• Singgasana pelatihan: B200 / B300 (arsitektur Blackwell) — komputasi FP8 dan interkoneksi NVLink 5 unggul di semua dimensi; satu-satunya tingkatan untuk melatih model triliunan parameter.

• Standar emas teruji: H100 / H200 (arsitektur Hopper) — ekosistem dan rantai pasokan paling matang, pilihan nilai terbaik untuk pelatihan dan inferensi dari 7B hingga 70B.

• Tulang punggung domestik: Ascend 910B / 910C — satu-satunya pilihan untuk skenario kepatuhan Xinchuang; inferensi hampir siap produksi, pelatihan tertinggal satu generasi penuh.

• Variabel generasi berikutnya: Ascend 950PR (diluncurkan kuartal pertama 2026, dioptimalkan untuk tahap prefill dalam inferensi), menunjukkan kecepatan pengejaran komputasi domestik.

Tabel 1: Spesifikasi inti tujuh chip komputasi AI terkemuka (nilai perkiraan; periksa spesifikasi resmi terbaru)

Indikator 1: Kecocokan pelatihan dan inferensi — pahami dulu apa bisnis Anda

Prinsip pertama pemilihan: apakah beban kerja utama Anda pelatihan atau inferensi? Keduanya bukan pekerjaan yang sama. Pelatihan intensif komputasi dan dibatasi komunikasi klaster — dalam klaster ribuan hingga puluhan ribu kartu, biaya overhead All-Reduce dapat mencapai 30–50% dari total waktu; sementara tahap decoding dalam inferensi intensif bandwidth memori, dan ketika GPU menunggu data, tidak ada daya komputasi yang membantu. Merancang klaster inferensi menurut kriteria kartu pelatihan, atau merencanakan platform pelatihan menurut kriteria kartu inferensi — dalam kedua kasus adalah kesalahan arah bernilai ratusan juta yuan.

• Skenario pelatihan: kinerja FP8 pada B300 sekitar 2,3 kali lebih tinggi dari H100, memangkas waktu pelatihan model triliunan parameter menjadi 40–50% dari waktu klaster H100; kinerja FP16 pada Ascend 910C setara dengan sekitar 40% H100, dan dengan memperhitungkan kesenjangan MFU (tingkat pemanfaatan sampel daya komputasi), kesenjangan kinerja pelatihan efektif sekitar 4,5 kali.

• Skenario inferensi: model kecil 7B–13B dapat berjalan di kartu mana pun, jadi harga-kinerja yang menentukan; model padat 70B memiliki bobot FP16 sekitar 140 gigabyte — H200 dengan 141 gigabyte menjalankannya di satu kartu, B300 dengan 288 gigabyte memungkinkan batch sangat besar, dan 910C dengan 96 gigabyte memerlukan paralelisme tensor multi-kartu; dalam skenario MoE tingkat 671B dan konteks panjang +128K, kartu memori besar menghancurkan pesaing.

Satu kalimat untuk mengingat indikator ini: untuk pelatihan Anda membeli daya komputasi, untuk inferensi Anda membeli bandwidth.

Indikator 2: Kapasitas memori video dan bandwidth — kapasitas menentukan langit-langit, bandwidth menentukan lantai

Memori video adalah «lumbung pangan» inferensi, bandwidth adalah «jalan tolnya». Tiga tren model besar — pertumbuhan parameter, pemanjangan konteks, dan kebangkitan MoE — menelan memori video dengan kecepatan memusingkan. Dan terutama konteks panjang adalah lubang hitam baru memori: cache KV untuk konteks 128K dapat menelan puluhan gigabyte tambahan, artinya «bobot muat» hanyalah nilai kelulusan, dan «cadangan untuk cache KV» yang menentukan paralelisasi.

Kesenjangan kapasitas memori langsung berubah menjadi uang: untuk menjalankan model tingkat 405B (bobot FP16 sekitar 810 gigabyte), B300 memerlukan empat kartu dalam paralelisme tensor, sementara H100 memerlukan sebelas kartu; perbedaannya bukan hanya harga tujuh kartu tambahan, tetapi juga satu server lengkap, kabel NVLink, dan lima tahun listrik. Dampak bandwidth kurang terlihat: dalam tahap decoding, setiap token yang dihasilkan memerlukan pembacaan penuh bobot model; bobot FP16 model 70B sekitar 140 gigabyte, dibaca H100 dengan kecepatan 3,35 terabyte/detik dalam sekitar 42 milidetik, sementara B300 memampatkannya menjadi 17 milidetik dengan 8 terabyte/detik — itulah mengapa kartu bandwidth tinggi menghancurkan pesaing dalam skenario sensitif latensi.

Indikator 3: Interkoneksi scale-up — kartu kuat yang tidak bisa dihubungkan menjadi pulau terpencil

Scale-up menentukan berapa banyak kartu yang dapat Anda «secara hipotetis gabungkan menjadi satu kartu besar». NVLink 5 NVIDIA (B300) menyediakan 1,8 terabyte/detik per GPU, dan dengan NVSwitch memungkinkan koneksi penuh 72 kartu dalam satu rak — paralelisme tensor model triliunan parameter selesai dalam satu rak; sementara NVLink 4 (H100/H200) dengan 900 gigabyte/detik sangat matang. Interkoneksi HCCS pada Ascend 910C sekitar 400 gigabyte/detik, yaitu 44% dari NVLink 4; Huawei mengimbanginya di tingkat sistem dengan interkoneksi optik penuh supernode CloudMatrix.

Saat memilih kartu, evaluasi dua tingkat sekaligus: bandwidth interkoneksi node tunggal, yang menentukan efisiensi paralelisasi dalam rak; dan solusi supernode pemasok, yang menentukan langit-langit skala antar-rak. Siapa yang hanya melihat yang pertama meremehkan kemampuan sistem Ascend; dan siapa yang hanya melihat yang kedua meremehkan kompleksitas operasi skala besar.

Indikator 4: Ketersediaan klaster — indikator yang paling diremehkan namun paling berpengaruh

Data nyata Meta tentang pelatihan Llama 3 405B layak dibaca ulang tiga kali oleh setiap pengambil keputusan pembelian: klaster 16.384 kartu H100 mengalami 466 gangguan pekerjaan dalam 54 hari — rata-rata satu gangguan setiap 3 jam, dan tingkat kegagalan GPU 120 kali lebih tinggi dari CPU. Hitunglah: klaster 10.000 kartu secara teoretis memiliki ~87,6 juta kartu-jam komputasi per tahun; setiap poin ketersediaan yang hilang berarti sekitar 870.000 kartu-jam daya efektif terbuang; dan kerugian 10% akibat kegagalan berarti jutaan dolar komputasi menguap ke udara.

Ketersediaan bergantung pada tiga hal: toleransi kesalahan perangkat keras RAS (B300 menawarkan mesin RAS khusus), stabilitas termal (kartu berdaya tinggi memerlukan pendingin cairan, dan kegagalan pendingin cairan menghentikan seluruh rak), dan strategi checkpoint (pelatihan 10.000 kartu memerlukan penyimpanan setiap 15–30 menit, menjadikan bandwidth tulis penyimpanan hambatan baru). Justru indikator inilah bidang di mana produsen sistem terintegrasi menciptakan nilai lebih besar daripada produsen chip: redundansi catu daya, desain aliran udara, manajemen out-of-band, dan uji bakar — setiap elemen menjamin ketersediaan.

Indikator 5: Biaya migrasi perangkat lunak — perangkat keras adalah biaya hangus, perangkat lunak adalah biaya permanen

Parit CUDA bukanlah angka +10.000 operator komputasi itu sendiri, melainkan pengalaman debugging, ekosistem sumber terbuka, dan jawaban yang dapat ditemukan seketika yang diakumulasi jutaan pengembang selama satu dekade — parit yang tidak dapat diisi oleh spesifikasi perangkat keras mana pun. Sebagai perbandingan: ROCm memiliki sekitar setengah operator CUDA, dan Ascend CANN memiliki sekitar 2.000 operator, yang sudah mencakup model umum.

Aturan praktis: untuk pelatihan dan inferensi model standar (GPT/Llama/Qwen/DeepSeek), ketiga ekosistem cocok; untuk penelitian lanjutan dengan perubahan arsitektur model yang sering, CUDA tetap satu-satunya pilihan; dan di mana kepatuhan memaksakan platform domestik, CANN adalah satu-satunya pilihan, tetapi alokasikan dalam anggaran 1–3 orang-bulan pekerjaan rekayasa untuk operator kustom dan penyetelan migrasi, dan catat dalam rencana proyek dan kontrak pembelian.

Indikator 6: Token per dolar dan token per watt — ujian akhir komersialisasi

Begitu pusat komputasi AI memasuki operasi komersial, pelanggan hanya peduli satu hal: berapa biaya per token. Pengukuran pihak ketiga menunjukkan bahwa biaya inferensi per juta token pada B200/B300 setara dengan sekitar 1/5 hingga 1/10 dari H100 — keunggulan yang bukan berasal dari kinerja kartu tunggal, melainkan dari efisiensi sistem: memori lebih besar mendukung batch lebih besar, presisi FP4 memangkas komputasi menjadi setengah, dan NVLink 5 mengurangi overhead komunikasi. Ini menjelaskan mengapa harga sewa H100 yang «usang» terus turun: ia tidak menjadi lebih lambat — hanya persamaan token per dolarnya tidak lagi konsisten.

Di bidang energi, daya desain termal per kartu naik dari 700 watt pada H100 menjadi ~1.400 watt pada B300 — melampaui batas pendinginan udara; membeli B300 secara praktis berarti membeli infrastruktur pendingin cairan lengkap (pendingin pelat dingin memungkinkan PUE di bawah 1,15, dengan investasi awal 30–50% lebih tinggi dari pendingin udara). Tetapi yang harus dibandingkan adalah «token per watt» bukan daya desain: hasil token per watt pada B300 lebih dari 3 kali lipat H100. Sementara itu, Ascend 910C dengan daya desain sekitar 600 watt berjalan dengan pendingin udara, dengan ambang infrastruktur yang jelas lebih rendah — cocok untuk proyek dengan anggaran dan kondisi fasilitas terbatas.

Matriks keputusan berdasarkan skenario

Tabel 2: Matriks pemilihan GPU untuk lima skenario tipikal

Daftar periksa kesalahan: Lima kesalahan paling umum dalam pemilihan

• Hanya melihat harga satu kartu tanpa menghitung total biaya kepemilikan klaster — NVSwitch, kartu jaringan IB/RoCE, dan konfigurasi cache NVMe dalam sistem delapan kartu dapat menggandakan total biaya; penawaran harga harus dibaca pada dua tingkat: sistem dan klaster.

• Menyusun anggaran berdasarkan kinerja puncak — tingkat MFU di industri seringkali hanya 30–50%; hitung ulang dengan kinerja efektif sebelum membahas jumlah pembelian, jika tidak klaster akan menggelembung dua kali lipat sejak awal.

• Mengabaikan prasyarat fasilitas — dalam proyek B300, periksa dulu kapasitas listrik, daya dukung lantai, dan kondisi pendingin cairan, baru bernegosiasi harga; jika fasilitas tidak sesuai, harga kontrak terendah pun akan menjadi biaya hangus.

• Meremehkan pekerjaan migrasi — catat dalam anggaran biaya penyetelan migrasi dari CUDA ke CANN (minimal 1–3 orang-bulan) dan prioritaskan mitra sistem terintegrasi dengan pengalaman penerapan platform domestik.

• Menggunakan satu model kartu untuk semua beban — beli pelatihan dan inferensi pada tingkatan berbeda dan terapkan model besar dan kecil secara terpisah, menghindari pemborosan seperti «menjalankan model 7B di B300».

Mengapa memilih ChangFan Industrial Computing

Mari kembali ke struktur biaya pada Gambar 1: chip hanya menyumbang 30–40% dari biaya pusat komputasi AI — listrik, pendingin, jaringan, dan operasi membentuk sisanya, dan justru di sanalah produsen platform sistem menciptakan nilai. ChangFan Industrial Computing menyediakan untuk pusat komputasi AI dan perusahaan AI server GPU terintegrasi dan kustomisasi lapisan infrastruktur:

• Platform sistem untuk semua skenario: dari workstation inferensi hingga server GPU delapan kartu, dengan konfigurasi sesuai permintaan untuk platform NVIDIA dan platform komputasi domestik, serta penyetelan komprehensif rasio CPU/GPU, cache NVMe, dan jaringan berkecepatan tinggi.

• Desain termal dan kelistrikan untuk daya tinggi: untuk konsumsi di atas 1.000 watt per kartu, kami menyediakan optimasi aliran udara sasis, catu daya redundan, dan struktur siap pendingin cairan, sehingga GPU kuat berjalan dengan daya penuh untuk waktu lama.

• Gen keandalan industri: seluruh lini produk mematuhi standar desain 7×24, dengan modul catu daya redundan, manajemen out-of-band (IPMI/BMC), dan uji bakar serta pemuatan lengkap — menargetkan langsung biaya tersembunyi ketersediaan klaster.

• Kemampuan OEM/ODM mendalam: struktur kotak, pencetakan sablon, BIOS/BMC, tata letak port, driver pra-instal, dan citra lingkungan inferensi — semuanya dapat dikustomisasi, membantu integrator mengirimkan sistem AI bermerek sendiri dengan cepat.

• Sertifikasi lengkap dan pengiriman global: produk disertifikasi menurut 3C, CE, FCC, RoHS, dan standar lainnya, dengan lembar data dan laporan uji tersedia dalam bahasa Tionghoa dan Inggris, didukung logistik global dan pengiriman proyek luar negeri.

Baik Anda merencanakan klaster pelatihan seribu kartu maupun membangun platform inferensi perusahaan, ChangFan Industrial Computing menyediakan perangkat keras sistem yang sesuai dan dukungan pemilihan profesional. Hubungi insinyur penjualan ChangFan Industrial Computing untuk pengujian sampel dan penawaran harga.

Pertanyaan yang Sering Diajukan (FAQ)

T: Apakah membeli H100 pada 2026 masih layak? J: Ya. Berkat rantai pasokan yang matang dan nol biaya migrasi ekosistem, H100 tetap pilihan optimal harga untuk pelatihan dan inferensi dari 7B hingga 70B; tetapi untuk pelatihan lanjutan dengan anggaran memadai, B300 adalah investasi jangka panjang yang lebih baik.

T: Apakah pendingin cairan wajib untuk B300? J: Ya. Dengan daya desain ~1.400 watt per kartu, B300 melampaui batas pendingin udara, dan pendingin cairan pelat dingin adalah standar; penerapan B300 memerlukan perencanaan komprehensif listrik, pendingin, dan daya dukung fasilitas.

T: Bisakah Ascend 910C menggantikan H100? J: Dalam skenario inferensi (model 7B–13B) ia adalah pengganti hampir penuh, dengan efisiensi efektif setara sekitar 70–82% H100; dalam pelatihan, kesenjangan kinerja efektif sekitar 4,5 kali, tetapi di bawah batasan kepatuhan Xinchuang, ia adalah satu-satunya pilihan mandiri dan terkendali.

T: Kapan Ascend 950PR diluncurkan? J: Menurut peta jalan yang diterbitkan Huawei, 950PR diluncurkan kuartal pertama 2026 dengan optimasi untuk skenario prefill inferensi, dan 950DT pada kuartal keempat 2026; spesifikasi dan pengiriman spesifik dikonfirmasi sesuai pengumuman resmi Huawei.

T: Berapa konfigurasi minimum yang diperlukan untuk inferensi model 70B? J: Bobot FP16 sekitar 140 gigabyte: satu kartu H200 (141 gigabyte) cukup; untuk batch paralel besar pilih B300 (288 gigabyte); dan dengan anggaran terbatas, paralelisme tensor multi-H100 cocok.

T: Bangun pusat komputasi AI privat atau sewa daya komputasi cloud? J: Semuanya bermuara pada tingkat utilisasi: dengan beban stabil dan utilisasi tahunan di atas 60–70%, klaster sistem privat biasanya unggul atas sewa cloud jangka panjang dalam total biaya kepemilikan; dan dengan beban berfluktuasi atau tahap validasi, bijaksanalah menyewa dulu baru membangun.

T: Apakah server GPU ChangFan Industrial Computing mendukung kustomisasi pendingin cairan? J: Ya. ChangFan Industrial Computing menyediakan struktur siap pendingin cairan, optimasi aliran udara, dan catu daya redundan, ditambah siklus OEM/ODM lengkap dari sasis hingga BIOS dan lingkungan pra-instal.