快科技10月7日音讯,近来一位Reddit网友发帖共享自己的捡漏阅历,他在俄罗斯二手交易生意渠道Avito上,以约3000卢布(约250块钱)的价格购入了一台搭载9张显卡的退役矿机,运用其54GB的总显存成功运转了本地AI模型。
这套矿机上安装了9张P106显卡。P106是GTX 1060的挖矿专用版别,单卡装备6GB显存,9张算计可提供54GB显存。
价格方面,卖家开始要价5000卢布(约395块钱),通过一番讨价还价,买家终究以3000卢布成交,相当于直接砍到六折。
从才能上看,这套体系在8-bit量化下能够运转Qwen3.8-27B等模型,若选用4-bit或5-bit量化,最高可支撑70B参数等级的模型。
测验多个方面数据显现,在Ollama上运转Qwen3.6-35B-A3B时,token生成速度到达每秒30个以上,并且后续通过优化仍有提高空间。
不过虽然大容量显存十分诱人,但这种架构存在很明显的物理瓶颈。简略来说,决议AI推理功率的不仅是显存容量,还有数据传输带宽。
典型的矿机主板运用的是PCIe x1接口,这种狭隘的通道会导致多张显卡在频频交流数据时呈现严峻的功能衰减。