MNN Chat

MNN Chat是一款开源移动端多模态AI应用，旨在让用户在智能手机上直接离线运行各类主流大语言模型。该应用的核心优势在于完全本地化的端侧推理，所有计算与数据处理均在设备端完成，无需联网且数据不上传云端，从而最大程度保障用户隐私安全。此外，应用内置了模型市场与基准测试功能，支持一键下载、管理模型及评估性能，配合自定义采样参数、历史记录回顾及Markdown格式渲染，为用户打造了一个便携、安全且高度可定制的本地AI工作站。

核心功能

1、全模态本地交互

支持文生文、图生文、语音转文本及基于扩散模型的文生图四类任务，所有多模态计算均在设备端完成，无需联网。

2、广泛的模型兼容

内置模型市场，支持一键下载并切换 Qwen、DeepSeek、Llama、Gemma、Baichuan 等主流开源大语言模型。

3、深度思考与自定义

支持切换模型的「深度思考」模式，允许用户自定义采样策略及扩散模型参数，满足高阶调优需求。

4、内置基准测试

提供自动化 Benchmark 工具，可直观测试并输出模型在当前设备上的预填充速度、解码速度及内存占用情况。

5、会话与历史记录管理

支持完整的 Markdown 格式渲染，提供历史记录回顾功能，用户可通过侧边栏无缝还原历史对话场景。

MNN Chat新手使用指南

1、模型获取

打开应用后，点击进入“模型市场”。由于国内网络环境的原因，强烈建议在右上角的设置中将下载源切换为“ModelScope（魔搭）”，这样下载速度会快很多。在市场中，你可以通过标签（如深度思考、图像理解、文生图等）筛选模型。对于运行内存在 4GB 以下的手机，建议选择 1B-1.5B 的小模型；8GB 及以上内存的设备可以尝试 4B 甚至 7B 模型。点击心仪模型旁的“下载”按钮，等待进度完成即可。

2、 开启对话与多模态体验

模型下载完成后，按钮会变为“对话”，点击即可进入聊天界面。在最基础的“文生文”场景中，你可以像使用普通 AI 助手一样进行多轮问答、写作或代码辅助。如果想体验“图生文”功能，只需点击输入框旁边的附件按钮，上传一张照片，模型就能帮你识别图片内容、提取文字或描述场景，并且支持针对同一张图片进行连续追问。对于需要语音交互的用户，可以在设置中额外下载 ASR（语音转文本）和 TTS（文本转语音）模型，从而实现流畅的实时语音对话。

3、 性能调优与参数配置

MNN Chat 提供了丰富的自定义选项。在对话界面的设置中，你可以调整采样参数来控制模型回复的创造性和准确性。此外，应用内置了性能评测功能，你可以在“性能评测”界面选择已下载的模型，点击“开始测试”进行基准测试。该功能会直观地展示模型在当前设备上的推理速度（Tokens/s）和内存占用情况，帮助你判断当前模型是否适合你的硬件，或者在不同模型之间进行性能对比。

软件亮点

1、极致隐私保护

所有推理任务与数据交互完全在本地离线运行，无需将任何信息上传至外部服务器，从根本上保障用户数据安全。

2、卓越的端侧推理性能

依托 MNN 引擎的深度优化，在 Android 设备的 CPU 推理上表现惊艳，预填充与解码速度数倍领先于 llama.cpp 等同类框架。

3、轻量化与低内存占用

采用低比特量化权重与 mmap（内存映射）混合存储技术，实现按需加载，大幅降低内存与带宽压力，使大模型在移动端流畅运行。