AIDC > 正文

开发者将破解版PS5改作本地AI服务器,27B模型达20.9 token/s

据外媒 Wccftech 报道,开发者 abhi245y 基于资深 AI 工程师 Mert Cobanov 的 PS5LM(llama.cpp 移植项目),开发了原生 GPU 应用 PS5LM Plus,让经过破解的 PS5 主机能够在本地运行 Qwen3.8-27B 等大型语言模型。

PS5LM 的早期版本主要依靠 CPU 运行模型,执行 27B 参数模型时,平均每分钟只能生成约 1 个 token。为提升性能,开发者移植了 Mesa 开源项目中的 AMD RADV 驱动,并通过 Vulkan 计算接口让 llama.cpp 能够作为原生应用在 PS5 上运行。这项改动将可用内存从约 6GB 提升至 11.4GB,使主机能够运行经过高度量化的 Qwen3.8-27B 模型。

得益于 PS5 较高的内存带宽(448GB/s),Qwen3.8-27B 的生成速度可达每秒 20.9 个 token。测试期间,GPU 使用率达到 100%,CPU 使用率仅为 2%。

免责声明:本内容来自网络,不代表科技创新网的观点和立场。

举报

相关推荐 全部