根据作者的研究,小模型在作为Agent时的表现如何?他提供了一张能力天梯图,并得出结论:Qwen3.8-27B-UD-Q4_K_XL是当前最推荐的版本。在关键配置方面,针对不同场景的推理强度,作者建议在Agent任务时将reasoning_effort设置为低,而在编写代码时提高到中等或高。这一细节对小模型在有限计算资源下的表现至关重要。值得注意的是,Mac用户可以看到,作者实测MLX在使用MTP时比llama.cpp更快,因此在苹果设备上更倾向于选择MLX。
为了确保测试结果的可靠性,所有模型都在统一的环境下使用单卡H100 NVL与最新版本的llama.cpp进行评估,这种基准设置使得天梯排名具备可比性,而非随意拼凑的数据。最后,作者表示如果有其他模型评测的需求,欢迎留言,他会继续进行测试。目前这条动态的浏览量达到了1600次。
Copyright © 球友会(中国)官方网站-千亿球友会 版权所有 网站地图
留言框-