https://github.com/Edge0-AI/Edge0

设备原生基础模型:笔记本上运行 145B,手机上运行 35B。潜在 MoE,SSD 流式加载权重,可提前预测负载的路由器。支持 Mac、iPhone、Android、Windows。

感觉这个,加上一些订阅的模型
可以省很多成本啊

主楼