一个普通用户拉尔斯·维克（Lars Wiik）测试了GPT-4o的英文阅读能力。

测试的方法是：准备了200个英文句子，需要根据语义，对其归类。

（测试的原始数据，可在英文原文里可以找到。）

有些模型会对公开的测试材料进行部分训练，所以会导致答案不客观。

而作者用自己的私有材料，进行测试，答案会相对客观。

原贴地址： https://medium.com/@lars.chr.wiik/gpt-4o-vs-gpt-4-vs-gemini-1-5-performance-analysis-6bd207a2c580

评测材料说明

这份测试材料，由 200 个句子组成，分为 50 个主题，其中一些句子密切相关，旨在使分类任务变得更加困难。

所有的内容，都是拉尔斯·维克手动创建、标记的。

评测的模型

主要测评了openai的GPT-4产品和谷歌的2款产品（Gemini和Palm 2）

Gemini和Palm 2都是谷歌出品的AI产品。

• Gemini侧重多模态（可以处理图片、文件、音视频等），
• Palm 2更侧重于文本和编程

详细模型：

• GPT-4o: gpt-4o-2024–05–13
• GPT-4：gpt-4–0613
• GPT-4-Turbo: gpt-4-turbo-2024–04–09
• Gemini 1.5 Pro: gemini-1.5-pro-preview-0409
• Gemini 1.0: gemini-1.0-pro-002
• Palm 2 Unicorn: text-unicorn@001

评测的结果

表现最好的工具是：GPT-4o， 只出现了2个错误。

表现最差的是Gemini-1.0， 出现了12个错误。

说明：错误率越低，说明模型表现的效果越好。

小结

本文作者对ChatGPT和谷歌的6个模型的文本做了独立的个人测试，测试方向是：文本理解能力。

最后的结果是：在英文文本理解方面，openai最新发布的GPT-4o效果最好。

这和官方公布的测评结果一致。

（下图为openai官方公布的测评结果）

忍不住吐槽一下谷歌的Gemini

一个不喜欢Gemini的原因：经常会出现拒绝回答的情况。

前面聊的好好的，突然整这么一出。 很让人不舒服。

好工具推荐

一个集美剧、音乐和AI工具为一体的服务商：

http://mrw.so/6gAybQ