QwQ-32B

一个游离于山间之上的Java爱好者 | A Java lover living in the mountains

累计撰写 158 篇文章
累计创建 346 个标签
累计创建 47 个分类

包含标签 QwQ-32B

甭管是个人还是企业都能部署的Mistral-Small3.1，远超同级别的模型这不Gemma3刚开源出来，立马炸裂了整个“科技界”，还没等它把“热度”持续火下去，Mistral-Small3.1却再次掀起了“科技界”的热度。 Mistral-Small3.1是Mistral AI推出的240亿参数开源多模态模型，基于Transformer架构优化设计，核心特性包括：多模态支持：支持文本与图像结合的任务处理，扩展了应用场景边界。 128k超长上下文窗口：可一次性处理长篇文档或复杂对话，显著优于前代的32k窗口。高效推理引擎：采用量化技术优化推理速度，每秒处理150个token，延迟低至毫秒级，适合实时交互场景。本地化部署能力：支持在RTX 4090显卡或32GB内存的Windows设备上运行，通过Ollama等工具实现轻量化部署. 通过Ollama部署那么，接下来，我们在本地通过Ollama来部署Mistral-Small3.1。如果你还没安装Ollama的话，那么，你可以去它的官网进行下载安装，Ollama官网。我这里选择了量化版，根据自己电脑的硬件设备来下载对应的量化版本。拷贝命令，直接黏贴到Terminal中。 ollama run MHKetbi/Mistral-Small3.1-24B-Instruct-2503:q6_K_L 主要特性和功能轻量级：Mistral Small 3.1 可以在单个 RTX 4090 或具有 32GB RAM 的 Mac 上运行。这使其非常适合设备上的使用情况。快速响应对话帮助：非常适合虚拟助手和其他需要快速、准确响应的应用程序。低延迟函数调用：能够在自动化或代理工作流程中快速执行函数针对专业领域进行微调：Mistral Small 3.1 可以针对特定领域进行微调，打造精准的主题专家。这在法律咨询、医疗诊断和技术支持等领域尤其有用。高级推理的基础：社区在开放的 Mistral 模型之上构建模型的方式继续给留下深刻印象。仅在过去几周，就看到了几个基于 Mistral Small 3 构建的出色推理模型，例如Nous Research 的DeepHermes 24B。为此，发布了 Mistral Small 3.1 的基础和指令检查点，以便进一步对模型进行下游定制。如果你本地电脑硬件资源有限的话，那么是可以前往Mistral 官方平台上使用，上面是满血版【点击前往】
- 2025-03-19
[AI]