Janas 实现超大 LLM 在低内存设备运行

AI·技术

Janas 通过从 SSD 流式加载专家模块，使内存小于模型体积的 LLM 能在笔记本上高效运行，性能优于 llama.cpp。

来源：原文链接 (新窗口)

← 返回搜罗吧首页

本页由搜罗吧(Solo8.cn)信息精选服务自动生成，内容仅供参考，不构成任何建议。