对GPT-4o的英文理解能力的独立测试

一个普通用户拉尔斯·维克(Lars Wiik)测试了GPT-4o的英文阅读能力。

测试的方法是:准备了200个英文句子,需要根据语义,对其归类。

(测试的原始数据,可在英文原文里可以找到。)

有些模型会对公开的测试材料进行部分训练,所以会导致答案不客观。

而作者用自己的私有材料,进行测试,答案会相对客观。

原贴地址: https://medium.com/@lars.chr.wiik/gpt-4o-vs-gpt-4-vs-gemini-1-5-performance-analysis-6bd207a2c580

评测材料说明

这份测试材料,由 200 个句子组成,分为 50 个主题,其中一些句子密切相关,旨在使分类任务变得更加困难。

所有的内容,都是拉尔斯·维克手动创建、标记的。

评测的模型

主要测评了openai的GPT-4产品和谷歌的2款产品(Gemini和Palm 2)

Gemini和Palm 2都是谷歌出品的AI产品。

  • Gemini侧重多模态(可以处理图片、文件、音视频等),
  • Palm 2更侧重于文本和编程

详细模型:

  • GPT-4ogpt-4o-2024–05–13
  • GPT-4:gpt-4–0613
  • GPT-4-Turbogpt-4-turbo-2024–04–09
  • Gemini 1.5 Pro: gemini-1.5-pro-preview-0409
  • Gemini 1.0: gemini-1.0-pro-002
  • Palm 2 Unicorn: text-unicorn@001

评测的结果

表现最好的工具是:GPT-4o, 只出现了2个错误。

表现最差的是Gemini-1.0, 出现了12个错误。

说明:错误率越低,说明模型表现的效果越好。

小结

本文作者对ChatGPT和谷歌的6个模型的文本做了独立的个人测试,测试方向是:文本理解能力

最后的结果是:在英文文本理解方面,openai最新发布的GPT-4o效果最好

这和官方公布的测评结果一致。

(下图为openai官方公布的测评结果)

忍不住吐槽一下谷歌的Gemini

一个不喜欢Gemini的原因:经常会出现拒绝回答的情况。

前面聊的好好的,突然整这么一出。 很让人不舒服。

好工具推荐

一个集美剧、音乐和AI工具为一体的服务商:

http://mrw.so/6gAybQ

近期文章

发表评论