雨晴 LLM是一款主打本地离线运行的大语言模型推理工具，内置多款Gemma系列量化模型，也支持用户自行导入本地模型文件。软件允许对各项参数进行灵活调整，模型加载状态与推理进度都能实时在线查看，操作门槛较低，即便不熟悉命令行部署的用户也能快速上手使用。
雨晴 LLM软件功能
1. 模型导入
进入主页后点击模型入口，在模型仓库页面通过右上角按钮即可完成本地模型导入。
2. 模型管理
在模型管理页面可下载对应的Gemma量化模型文件，并选择CPU或GPU作为推理后端。
3. 本地API服务
启动本地API服务后，兼容OpenAI接口规范的客户端填写本地地址即可调用。
4. 悬浮窗控制
通过悬浮窗能够随时查看生成进度、切换当前模型以及关闭服务。
5. 权限配置
首次使用需授予存储、后台悬浮窗及后台运行等必要权限，保障功能正常运行。
雨晴 LLM软件优势
1. 离线可用
模型下载导入完成后，断网状态下依然可以正常对话，联网仅用于首次获取模型文件。
2. 数据本地化
所有数据均保存在本地设备，不会上传至云端，隐私安全性更有保障。
3. 接口兼容
提供符合OpenAI标准的本地接口服务，方便对接各类第三方客户端。
4. 参数自定义
各类参数均可按需修改，兼顾不同硬件条件与使用场景。
雨晴 LLM软件特色
1. 内置Gemma系列量化模型，开箱即用，省去繁琐的模型寻找与配置环节。
2. 支持自定义导入本地模型，满足用户对特定模型的个性化需求。
3. 实时展示模型加载状态与推理进度，运行情况一目了然。
4. 命令行部署新手也能轻松驾驭，整体交互设计偏向简单易上手。
5. 兼容OpenAI标准的本地接口，为本地API服务提供便利。
雨晴 LLM怎么导入模型
1.打开雨晴 LLM，进入应用主页
2.点击模型，进入模型小仓库页面
3.点击右上角，即可导入模型
雨晴 LLM软件怎么使用
1.打开雨晴 LLM，授予存储、后台悬浮窗、后台运行权限
2.进入模型管理页面，下载对应 Gemma量化模型文件
3.选择 CPU/GPU推理后端，启动本地 API服务
4.使用任意兼容 OpenAI API的客户端，填写本地地址 `http://127.0.0.1:8080`即可调用
5.悬浮窗可随时查看生成进度、切换模型、关闭服务
常见问题（FAQ）
Q：雨晴 LLM 是否完全免费？
A：是的，雨晴 LLM 目前完全免费，开源版本可在 GitHub 获取，无任何功能限制。
Q：模型离线运行，如何更新模型库？
A：您可以将新下载的模型文件放入指定目录，或通过界面“添加模型”导入。部分模型可能需转换格式，请参见官方文档。
Q：运行时报错“CUDA out of memory”怎么办？
A：请降低模型精度（如从 fp16 改为 int8），或减少并发请求数，并关闭其他占用显存的程序。
雨晴 LLM小编简评
雨晴 LLM把本地大模型推理这件事做得足够轻便，离线运行加上数据不出本地的设定，对注重隐私的用户相当友好。内置Gemma量化模型省去了不少折腾成本，悬浮窗和本地API的搭配也让日常调用更顺手。虽然手机跑大模型难免发热耗电，但整体上手难度不高，值得有本地推理需求的朋友试一试。
手机清理加速管家 
抖快清理大师 
一键换机助手 
全能王录屏 
360帐号卫士 
核桃清理 
电量充满闹钟 
云工具 
换机搬家 
星源安全助手 
悠九平台安卓版 
qq同步助手最新版 
APKCombo Installer 
微信输入法手机版 
欢太工具箱 
摇摇壁纸 
国家反诈中心 
北辞弱网2024 
华为神农中医大脑免费版 
抖音商城 
3D速写模型 
QNET 弱网 
ABC英语角天天背单词 
黏土滤镜相机 
winrar安卓版 
雨花阁引擎搜索 
千帆浏览器助手 
小呆呆工具箱 
Joplin安卓中文版 
安全守护2手表 
超级小爱 
磁力宅居云 