Approaching the Memory-Bandwidth Ceiling: Three As-Deployed LLM Inference Stacks on a 128 GB Unified-Memory APU
Abstract
Single-node measurement note. Two-day campaign measuring three as-deployed LLM inference stacks (model + runtime + quantization: Qwen3.8-Flash-Next on halogen, GLM-5.3 on ExLlamaV3, DeepSeek-V4-Flash on ember) on one 128 GB unified-memory AMD Ryzen AI Max+ 395 node, under one measurement contract and one frozen corpus. Measured memory-read ceiling: 240.3 GB/s; the three stacks decode at 85-90 % of it, so the differences are primarily explained by effective bytes per token rather than by under-use of the hardware. Includes the paired per-item bootstrap of the quality differences (95 % CIs exclude zero for all three pairs, within this corpus) and four measured negative results (speculative decoding: no gain; --num-draft R=4: VRAM OOM; factory sampler: ~5 %, not the 13-21 % quoted in forums; aggregate concurrency: ~0 %). Limits are declared: one node, no energy/cost measurement, n=3 in short cells, quantization differs between stacks (declared confounder), and ~10-15 % of the ceiling is unexplained and NOT attributed to any cause. Personal work; not peer reviewed. Resumen en castellano. Nota técnica de una campaña de dos días en un solo nodo con memoria unificada de 128 GB (AMD Ryzen AI Max+ 395). Se midió el techo real de lectura de memoria: 240,3 GB/s, frente a los 256 GB/s teóricos de ficha y los ~215 GB/s que reporta la comunidad. Los tres stacks de inferencia evaluados, tal y como estaban desplegados (modelo + motor + cuantización), trabajan entre el 85 % y el 90 % de ese techo: las diferencias se explican sobre todo por los bytes efectivos por token, no por desaprovechamiento del hardware. En decode, la velocidad tiene como límite superior el ancho de banda dividido entre los bytes leídos por token; en un MoE cuentan los parámetros activos, no los totales. Incluye el bootstrap pareado de las diferencias de calidad (los intervalos del 95 % excluyen el cero en los tres pares) y cuatro resultados negativos medidos: la decodificación especulativa no aporta ganancia, el sampler de fábrica cuesta ~5 % (no el 13-21 % que circula) y la concurrencia agregada es ~0 %. Límites declarados: un nodo, un corpus, sin medir energía ni coste, y con cuantización distinta entre stacks. El texto canónico del informe es el inglés.
