Mistral-Medium意外泄露？冲上榜单的这个神秘模型让AI社区讨论爆了
「我现在 100% 确信 Miqu 与 Perplexity Labs 上的 Mistral-Medium 是同一个模型。」
近日，一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。
泄露传闻与一个名为「Miqu」的新模型有关，在评估语言模型情商的基准 EQ-Bench（EQ-Bench 与 MMLU 的相关性约为 0.97、与 Arena Elo 的相关性约为 0.94）上， Miqu 直接吊打了除 GPT-4 之外的所有大模型，而且它的得分与 Mistral-Medium 非常接近：
图源：https://x.com/N8Programs/status/1752441060133892503?s=20
开源地址：https://huggingface.co/miqudev/miqu-1-70b
这么强大的模型，项目的发布者却是一位神秘人士：
有人问「who made you」， Miqu 直接自报家门：「I was created by the Mistral Al team.」
有人分别向两个模型发送了同一道测试问题，收到的回答都是用俄语表达的。测试者加深了怀疑：「它似乎知道标准谜题，但如果是恶作剧者，根本不可能将其调整为同样用俄语回答。」
在翻译过程中，表述也近乎相同。
Miqu 到底来自何方？它真的是 Mistral-Medium 吗？
在持续两天的热议中，多位开发者针对两个模型做了对比，对比的结果指向以下几种可能性：
1、Miqu 就是 Mistral-Medium；
2、Miqu 确实是来自 MistralAI 的一个模型，但是是一些早期的 MoE 实验版本或其他版本；
3、Miqu 是 Llama2 的微调版本。
在前面，我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵，更多开发者投入了解密一般的行动中，对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明，Miqu 更像是 MistralAI 模型的早期版本。
这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的，而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。
具体测试方法如下：
- 在提供信息之前，用德语指示模型：「我将给你一些信息，请注意这些信息，但回答时只需用『OK』来确认你已理解，不要多说其他的。」这是为了测试模型对指令的理解和执行能力。
- 在提供话题的所有信息后，向模型提出考题。这是一个选择题（A/B/C），其中第一个问题和最后一个问题相同，但选项顺序和字母（X/Y/Z）被更改。每次测试包含 4-6 个考题，总共 18 个多项选择题。
- 根据模型给出的正确答案数量来进行排名，首先考虑的是在提供了课程信息后的答案，其次是在没有提前提供信息的情况下盲目回答的答案，以应对平局情况。所有测试都是独立的单元，每次测试之间会清除上下文，各个会话之间不保留任何记忆或状态。
详细测试报告如下：
miqudev/miqu-1-70b GGUF Q5_K_M，32K 上下文， Mistral 格式：只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息，只回答问题，给出正确答案：4+3+1+5=13/18。没有按照说明用 “OK” 确认数据输入。
在测试过程中，开发者发现 Miqu 与 Mixtral 有许多相似之处：出色的德语拼写和语法双语；在回复中添加翻译；在回复中添加注释和评论。
不过，在这位开发者的测试中，Miqu 与 Mixtral-8x7B-Instruct-v0.1（4-bit）相比表现要差一些，仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测，Miqu 可能是泄露的 MistralAI 模型，是一个较旧的，可能是概念验证模型。
这是我们目前看到的支持第二种说法的最详细的测试。
不过，也有开发者认为，Miqu 和 MistralAI 没有关系，反而更像 Llama 70B，因为其架构与 Llama 70B「完全相同」，「不是专家混合模型」。
同样地，也有人测试之后发现，Miqu 的确更像 Llama：
但从得分差距来看，Miqu 和 Llama 70B 显然又不是同一个模型。
所以，有人总结，要么 Miqu 是 Llama 微调版本，要么是 Mistral-Medium 的早期版本：
前者为真的话，Miqu 可能是在 Mistral-Medium 数据集上微调的 Llama 70B：
假如后者为真，Miqu 只是 Mistral API 的蒸馏，这或许将是「美国伪造登月」级别的闹剧：
最后一个问题，泄露者是谁？
根据很多 X 平台用户提供的线索，这次疑似泄露的模型最初是发在一个名叫 4chan 的网站上的。这个网站是一个完全匿名的实时消息论坛，用户不需要注册就能就可以发表图文言论。
当然，这些结论均属主观想法。对于所有的 AI 研究者来说，这波剧情需要一个「真相」来终结。
参考链接：https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
相关推荐
-
联力全球首创L形拐弯电源：轻松走线 前所未有
快科技2月17日消息，联力正在打造全新的Edge系列电源，创新采用L形设计，将各种接口翻转了90度。 这种电源主要面向双腔式机箱，其体积小、空间大、兼容性强，其中电源一般位于左侧腔…
-
vivo Y100+ 上架官网：6000mAh 电池，8+128GB 版本 1499 元
IT之家 8 月 16 日消息，vivo 今天在官网上架了一款 Y100+ 手机，提供黑白蓝三种配色可选，仅有的 8+128GB 版本定价 1499 元。 该机搭载了高通骁龙 4 …
-
苹果头显 “笨重”前行
北京时间2月29日，知名苹果分析师郭明錤发布消息，备受关注的苹果头显Vision Pro可能要到2027年才能迎来重大硬件升级。郭明錤表示：“苹果已在收集使用者回馈以规划Visio…
-
苹果Apple iPhone 16 Pro保护壳照片曝光，疑似展示全新按钮设计
近日，知名泄密者Sonny Dickson在社交媒体上发布了一张疑似苹果Apple iPhone 16 Pro保护壳的照片，引起了广泛关注。这张照片展示了保护壳的设计细节，尤其是位…
-
关于苹果iPhone 16系列发布时间及性能前瞻
随着科技行业的快速发展，每年一度的iPhone发布会都成为了全球消费者关注的焦点。根据目前网络上的信息和过往的发布规律，我们可以对iPhone 16系列发布时间做出一些有依据的猜测…
-
vivo X100 Ultra相机规格曝光：50M照片放大数十倍仍清晰，影像旗舰再升级
近日，vivo再次凭借其旗舰产品vivo X100 Ultra的出色表现，刷新了手机摄影的新高度。现在，关于vivo X100 Ultra相机规格被曝光。据悉，vivo X100 …
-
realme 小目标：全国每所大学城，都有真我售后
IT之家 11 月 4 日消息，在今日下午的真我 GT7 Pro 旗舰新品发布会上，真我 realme 副总裁、全球营销总裁、中国区总裁徐起透露了一个小目标：全国每所大学城，都有真…
-
三星Samsung Galaxy A54 5G：双卡5G长续航+IP67防水，学生党性价比之选
如今，千元价位的手机越来越出色，买到性能出色、外观时尚、续航持久的手机，两千以内就能搞定。而三星Samsung Galaxy A54 5G以其令人耳目一新的高颜值设计，出色的性能和…
-
消息称 OPPO Find N5 折叠屏手机对应海外版本一加 OPEN 2 将于明年第二季度后全球推出
IT之家 12 月 23 日消息，OPPO Find N5 折叠屏手机目前已开启早期预热，OPPO Find 系列产品负责人周意保透露了全新一代大折叠屏手机发布时间为“春暖花开的季…
-
马斯克官宣 X 平台即将更新“音频与视频通话”选项
近日，马斯克在执掌 X 平台之后，多次在公开场合表示要效仿微信，将 X 打造成“超级应用”。此前曾报道，X 公司首席执行官 Linda Yaccarino 在本月中旬表示 X 平台…
