Forwarded from Oilbeater 的自习室
llmfit 这个工具不错,能快速查看自己的机器到底能跑啥模型,吞吐量能到多少
https://github.com/AlexsJones/llmfit