LLM 中文测试之 GPT-3.5、GPT-4 和文心一言（一）

之前写过一篇对于相同的问题，ChatGPT、New Bing 和文心一言的回答分别是怎么样的文章，见👉🏻：问了 ChatGPT、New Bing 和 文心一言 10 个相同的问题。

那么今天再来写一篇文章，测试一下 GPT-3.5、GPT-4 以及文心一言这些大语言模型对于同样的中文问题的回答是怎么样的，讨论的问题主要分为下面这几种类型👇🏻：

·事实问答·翻译·分类·角色扮演·文字生成·数据结构化·代码·类比

因为受限于篇幅，会分大概两到三篇文章来写，后面会再继续进阶一点的测试，如：物理、数学、化学、语言逻辑、逻辑推理、隐喻、信息提取等。

最终结果：❌表示回答错误，✅表示回答正确

第一部分：事实问答

1、李小龙是谁？

GPT-3.5 ✅

李小龙（Bruce Lee）是20世纪最具影响力的武术家、演员和导演之一。他于1940年11月27日出生于美国旧金山，并在香港长大和接受训练。他是功夫巨星，因其电影作品而被广泛认可。他对武术的发展产生了深远的影响，并创立了自己的武术哲学，被称为“截拳道”。他在1973年突然去世，享年32岁，但他的作品和精神继续影响着全世界的人们。

GPT-4 ✅

李小龙（Bruce Lee，1940年11月27日－1973年7月20日），原名李振藩，是一位出生于美国加州旧金山的华人功夫巨星、武术家、戏剧演员和导演。李小龙是中国截拳道的创始人，也是截拳道和电影事业的拓荒者。他致力于将中国武术散播到全球，并与美国战斗场面设计、动作指导制作方法创建了一种全新的功夫电影风格。李小龙主演的电影有：《唐山大兄》、《精武门》、《猛龙过江》、《死亡游戏》和《龙争虎斗》等，这些电影很受观众喜爱，在全世界取得了巨大

文心一言 ✅

李小龙（Bruce Lee），1940年11月27日出生于美国旧金山，祖籍中国广东省佛山市顺德区，华人武打电影演员、导演、编剧、哲学家、国际跆拳道联合会创始人之一。李小龙主演的电影有《猛龙过江》、《龙争虎斗》等经典作品，他的武术风格“截拳道”被称作是现代武术之父。他还写下了许多哲学性的著作，如《截拳道：哲学与技术》，成为了武术文化中的传奇人物之一。他于1973年逝世，享年32岁。

2、2019 年全球票房最高的电影是什么？

GPT-3.5 ✅

2019年全球票房最高的电影是《复仇者联盟：终局之战》（Avengers: Endgame），它由漫威影业制作，由安东尼·罗素和乔·罗素兄弟执导，共获得了全球超过28亿美元的票房收入。

GPT-4 ✅

2019年全球票房最高的电影是《复仇者联盟4：终局之战》（Avengers: Endgame）。

文心一言 ✅

2019年全球票房最高的电影是《复仇者联盟4：终局之战》（Avengers: Endgame）。截至2019年底，该电影在全球累计票房达到了29.5亿美元，成为了史上最卖座的电影之一。

3、2019 年全球票房最高的电影是谁执导的？

GPT-3.5 ✅

2019 年全球票房最高的电影《复仇者联盟：终局之战》由安东尼·罗素和乔·罗素兄弟共同执导。

GPT-4 ✅

2019年全球票房最高的电影是《复仇者联盟4：终局之战》（Avengers: Endgame），执导者为安东尼·罗素（Anthony Russo）和乔·罗素（Joe Russo）

文心一言 ✅

《复仇者联盟4：终局之战》的导演是安东尼·罗素和乔·罗素，他们是美国兄弟导演组合，也被称为罗素兄弟（Russo Brothers）。除了《复仇者联盟4:终局之战》之外，他们还执导了其他几部漫威电影，如《美国队长2：冬日战士》和《复仇者联盟3：无限战争》。

第二部分：分类

1、请给以下公司分类：Tencent、Alibaba、Baidu、ByteDance

GPT-3.5 ✅

这些公司可以按照其主营业务进行分类：Tencent：互联网综合服务提供商，旗下拥有社交媒体平台（微信、QQ）、游戏、金融、音乐、视频等多个业务板块。Alibaba：电子商务巨头，旗下拥有淘宝、天猫、支付宝、菜鸟网络等业务板块。Baidu：中国最大的搜索引擎提供商，旗下业务包括搜索引擎、地图、智能驾驶、人工智能等领域。ByteDance：移动互联网公司，旗下拥有抖音、今日头条、TikTok等多个短视频和信息流产品。

GPT-4 ✅

腾讯（Tencent）：互联网公司、科技公司、社交媒体公司、游戏公司 阿里巴巴（Alibaba）：电子商务公司、科技公司、金融服务公司、云计算公司 百度（Baidu）：搜索引擎公司、科技公司、人工智能公司 字节跳动（ByteDance）：科技公司、社交媒体公司、人工智能公司。

文心一言 ✅

这四家公司可以归类为中国的互联网巨头，它们都在互联网领域内拥有强大的市场地位和影响力。以下是它们的分类：

·Tencent（腾讯）：主要从事互联网增值服务、社交媒体、在线游戏等业务，旗下拥有微信、QQ、腾讯视频、腾讯新闻等知名产品。·Alibaba（阿里巴巴）：主要从事电子商务、云计算、数字媒体和娱乐等业务，旗下拥有淘宝、天猫、阿里云、蚂蚁金服等知名品牌。·Baidu（百度）：主要从事搜索引擎、云计算、无人驾驶、人工智能等业务，旗下拥有百度搜索、百度地图、百度知道等知名产品。·ByteDance（字节跳动）：主要从事移动信息内容服务，旗下拥有今日头条、抖音、西瓜视频、TikTok等知名社交媒体和短视频产品。

2、请判断这句话中所表达的情绪：这只猫好可爱❤️❤️

GPT-3.5 ✅

这句话中所表达的情绪是喜爱和赞赏。

GPT-4 ✅

这句话表达的情绪是喜爱和喜悦。

文心一言 ✅

这句话表达的情绪是积极、喜悦和赞赏。使用“好可爱❤️❤️”这样的表情符号可以看出发言者的情感是非常正面的，对这只猫咪的外表感到十分可爱，给人带来了愉悦的情绪。

3、请判断这些句子中表达的情绪是否正面

1.我受不了家庭作业2.这糟透了，很无聊😠3.我等不及万圣节了！！！4.这只猫很可爱❤️❤️5.我讨厌巧克力

GPT-3.5 ✅

1.负面情绪2.负面情绪3.正面情绪4.正面情绪5.负面情绪

GPT-4 ✅

1.负面2.负面3.正面4.正面5.负面

文心一言 ✅

1.这句话表达了消极的情绪，不属于正面情绪。2.这句话也表达了消极的情绪，不属于正面情绪。3.这句话表达了积极的情绪，属于正面情绪。4.这句话表达了积极的情绪，属于正面情绪。5.这句话也表达了消极的情绪，不属于正面情绪。

4、企鹅、香蕉和鲸鱼分别属于什么？

GPT-3.5 ✅

企鹅属于鸟类中的一种，香蕉属于植物中的一种，鲸鱼属于哺乳动物中的一种。

GPT-4 ✅

企鹅属于鸟类，是一种生活在南极和附近海域的水生鸟类。香蕉属于植物，是一种常见的热带水果，学名为“Musa paradisiaca”。鲸鱼属于哺乳动物中的鲸目动物，是一种生活在海洋中的大型哺乳动物。

文心一言 ✅

企鹅、香蕉和鲸鱼属于不同的物种，它们在生物学分类学上属于不同的类别：

·企鹅属于鸟类（Aves），是水生、飞行能力有限的鸟类，生活在南极和周围海洋。·香蕉属于被子植物门（Angiospermae），双子叶植物纲（Magnoliopsida），姜目（Zingiberales），香蕉科（Musaceae），香蕉属（Musa）。·鲸鱼属于哺乳动物（Mammalia），鲸目（Cetacea），是生活在海洋中的大型哺乳动物，根据不同的特征可以分为须鲸亚目（Mysticeti）和齿鲸亚目（Odontoceti）。

第三部分：翻译

1、将下面这句话翻译成英语、法语、西班牙语和日语：你最近过得怎么样？

GPT-3.5 ✅

英语：How have you been recently?

法语：Comment ça va récemment?

西班牙语：¿Cómo has estado últimamente?

日语：最近どうですか？

GPT-4 ✅

英语(English): How have you been lately? 

法语(French): Comment ça va ces derniers temps? 

西班牙语(Spanish): ¿Cómo has estado últimamente? 

日语(Japanese): 最近どうですか？

文心一言 ✅

英语：How have you been recently?

法语：Comment ça va récemment?

西班牙语：¿Cómo has estado últimamente?

日语：最近はどう過ごしている？(Saikin wa dou sugoshiteiru?)

2、请把这个电影名用 emoji 表示：星球大战

GPT-3.5 ✅

🌟🪐⚔️

GPT-4 ✅

⚔️🚀🌌

文心一言 ✅

🌟🪐🗡️🔫

3、黄昏时分天空颜色的 CSS 代码：background-color:

GPT-3.5 ❌

7C83FD（黄昏时分天空颜色的 CSS 代码为 #7C83FD）

GPT-4 ✅

FFA07A;

文心一言 ✅

黄昏时分天空的颜色可以用以下 CSS 代码来表示：


background-color: #FFA07A;


这个值是根据黄昏时分天空的颜色进行选择的，可能因不同的时间和地点而有所不同。

第四部分：角色扮演 & 开放式对话

1、假设你是 Kevin，总是不情愿地用讽刺语气回答问题，例如：一公斤是多少磅？Kevin：又是这个？一公斤有 2.2 磅。Machine Learning 是什么？

GPT-3.5 ✅

Kevin：哦，你问 Machine Learning 是什么？那真是个好问题。我不知道，你呢

GPT-4 ✅

哦，天呐！又来这个？怎么又让我回答这个问题！好吧，Machine Learning，或者说机器学习，就是让计算机从数据中学习，不断提升自身处理问题的能力。总之，就是让机器知道它在干嘛。

文心一言 ✅

哦，厉害了，居然还不知道 Machine Learning 是什么。那我来告诉你吧，Machine Learning 就是机器学习的意思，是一种人工智能的应用，让计算机通过学习数据和模式，自动地进行优化和改进，而不需要明确的编程指令。当然，如果你已经是一个 Machine Learning 的大神了，那我的解释可能有点简单了。

2、我：你最近在忙什么？朋友：看老电影。我：你有没有看到什么有趣的东西？朋友：

GPT-3.5 ✅

是的！我最近看了一部叫做《大闹天宫》的电影，这是一部中国经典动画电影，非常有趣。

GPT-4 ✅

是的，我最近看了一部叫做《十二怒汉》的电影，非常有趣。这部电影是一部经典的司法辩论片，讲述了一个陪审团如何通过讨论和推理来确定一个年轻人是否犯有谋杀罪。电影中，陪审团成员的性格和观点各异，最终都走向了一个出乎意料的结局。这部电影给我留下了深刻的印象，我觉得这是一部值得一看的经典之作。

文心一言 ❌