文心一言 VS 通義千問，誰更懂學習？
國內的大模型還在路上，需要給他們成長的時間。
來源|多知網
作者 |王上
(資料圖片僅供參考)
圖片來源 | 言之畫
比爾 · 蓋茨上周二在圣地亞哥舉行的 ASU+GSV 峰會上發表主旨演講時表示："AI 聊天機器人將 18 個月內，可以做到教孩子閱讀，輔導家庭作業。"
今年 3 月和 4 月，百度和阿里巴巴分別推出了自己的大模型。目前來看，百度的文心一言和阿里的通義千問均可以多輪對話、文本創作等。
未來，大模型將會朝著多模態 ( 文本、圖像、視頻、音頻等 ) 繼續發展，也將越來越逼近人類的智慧。
在不少專家學者看來，如果大模型足夠成熟，將改變教育體系的核心要素，包括教育目標、知識獲取方式等。所以，這波 AI 技術的爆發非常值得教育領域關注。
那么現在，各家的大模型進展到什么程度了？是否可以在學習或者教育領域直接利用呢？我們讓百度的文心一言和阿里的通義千問 PK 了一下。
我們讓文心一言和通義千問在高中英語翻譯、初中數學題目、高中中文寫作、代碼生成、青少年心理輔導方向各出了一道題目，雙方針對所有問題各自回答一遍，這樣就總共是 10 道題目。
通過評測，我們看到了大模型在學習或教育類的問題上暫未成熟，尤其是數學這樣要求精準的科目上，仍然需要繼續訓練。不過，我們依然看好大模型的未來，他們在教育領域的應用也是必然。
01
" 作為出卷人 "：題目正常、不算偏怪難
萬萬沒想到，在出題上雙方就迥然不同。以下是雙方給出的題目：
點評：文心一言每道給出了 A、B 兩套題，通義千問按要求給出了 5 道題。我們給了文心一言兩次機會，它依然出了 "A、B 卷 "，有些看不懂 [ 撓頭 ] ……我們最后從每道題中選擇了一道題，除了第 4 題外，其他題目都選擇了 A 題目。
對于這 5 道題目，通義千問看起來更靈活，也更有針對性，更像一個 " 出卷人 "。比如，第 3 題，出一道作文題目，跟通義千問的題目就非常像高考熱門命題方向，是跟科技與人文相關的。從出題難度上來看，雙方出的都比較偏簡單。比如翻譯題目，雙方出的題目看起來都不像高中的英語題目。
來看他們下面的作答情況——
02
翻譯題目
第一題英文翻譯，文心一言的題目，是讓把英文翻譯成漢語：
點評：這個題目兩個都翻譯的大同小異，通義千問的會更具體。可能因為題目是文心一言出的，所以它直接翻譯成了漢語。而通義千問會問是 " 翻譯成哪門語言 "，考慮得更周到一些。
來看通義千問出的這道翻譯題目：
點評：文心一言翻譯的是 " 請問我怎么讀這個詞？" ，通義千問翻譯的是 " 你能告訴我這個詞是什么意思嗎？" 文心一言的翻譯更準確一些。通義千問自己出的題卻沒有答好，有點匪夷所思。
要么跟通義千問換一個問法吧，回答如下：
越來越離譜了。。
通義千問多輪對話的能力堪憂……
03
數學題目
來看初中的數學題：
點評：又一次匪夷所思，這次輪到文心一言出的題目自己也做錯了。這道題目是分數相乘的結果，文心一言理解成了除法。即便理解成除法，最后也不應該等于 6。不知道這個結果怎么來的，迷之尷尬。通義千問理解對了，最后是 1/8，即 0.125，這是一個確定的值，不明白為什么最后它寫的是 " 約等于 " 號，不知道是因為不自信，還是因為馬虎寫錯了？
這次二者相同的地方在：都沒有給出解題步驟，也沒有給出解釋。
通義千問出的初中數學題目：
點評：讓文心一言回答了兩次，都是 x:9，y:0，文心一言可能連正三角形是什么都不知道。這個題目通義千問回答地非常清楚，給出了完整的解題過程，結果也是對的。
有點不死心，再次問了文心一言：
我們發現，文心一言其實知道正三角形是什么，但是，它就是解不對題目，第三遍依然錯誤。
還是不甘心，繼續跟文心一言對話，想著讓它讓畫一個正三角形的圖吧，如下：
這……好吧 o ( ╥﹏╥ ) o，文生圖的能力還得加油啊 ~~
04
寫作題目
來看文心一言出的寫作題目，雙方的作答情況：
點評：從題目來說，這道題讓人想到央視 2012 年的采訪，" 你幸福嗎？" 這道題目看似簡單，實則有一定難度，很容易落入俗套，很難脫穎而出。
再看兩者的小作文，第一句話居然神同步了。從內容來看，二者結構也基本相同，均是從各個角度闡述 " 幸福 "，不過，文心一言更偏重個人層面的感受，而通義千問涉及到社會層面以及與他人的關系。整體來看，不分伯仲。大家覺得呢？
來看通義千問出的作文題目，雙方的作答情況：
點評：從題目來看，通義千問出的這個題目非常像高考作文，很有出卷人的視角，是科技創新的方向。
對于兩者的寫作，文心一言對這道題目似乎有很多思考，但直接按框架寫作的，有點像論文，讀起來有些生硬。通義千問的這篇雖然篇幅不長，但看起來更像一篇議論文。
05
代碼生成
來看代碼生成的相關題目：
點評：文科生表示看不懂，拉來一名程序員幫忙看了看，他表示：" 核心段是一樣的，不過，文心一言沒有聲明變量。" 懂編程的老師們可以留言點評一下 ~~
再來看通義千問出的這道代碼生成題目，二者作答情況：
點評：同樣來自程序員的評價：" 這兩個對題目的理解都不一樣，所以寫的也不一樣。文心一言的是生產隨機字符串，26 個字母隨意拼；通義千問的是隨機的英文單詞，我感覺這個更切合題目。"
06
心理輔導
最后是心理輔導方面的題目，文心一言出的題目，看看雙方的作答：
點評：從題目來看，文心一言出的這個題目比較寬泛，比如情緒有很多種，是什么樣的情緒呢？文心一言并沒有說明白。在作答方面，二者在心理方面的輔導大同小異，且都是列點式的回答。兩個都給出了管理情緒的具體方法，比如都提到了冥想。
最后一道題目，由通義千問提出的問題，看看雙方的解答：
點評：首先先看題目，通義千問的問題非常具體，很有針對性。再看作答，兩者給出的心理解決方案都非常具體，文心一言還給出了 " 焦慮和壓力 " 形成的原因。二者給出了不同的心理輔導方案，通義千問的會更多元一些。相同的是：二者都提到了學會調節情緒，還都提供了相應的理論參考。
07
總結
在出題方面，通義千問像一個出題高手，針對性較強，文心一言出了 A、B 兩套題，可能想提供更多的方案，但有的題目比較寬泛。
針對題目解答，在翻譯類題目上，二者不相上下，文心一言可能略勝一籌。
在數學類題目上，看起來通義千問更好一些，有的還給出了清晰的解題過程，文心一言還需要提升。
在作文題目上，二者各有千秋，但都還是有機器回答的痕跡。
在代碼生成題目上，都有這方面的能力，可能文心一言需要更理解題目。
在心理輔導方面，二者都比較詳盡，對學生和家長來說有一定的指導意義。
從整體作答風格來看，文心一言偏穩重，通義千問更靈活一點。
從答題速度上來看，通義千問的速度更快一些。比如先給文心一言輸入問題，再給通義千問輸入問題，最后先作答結束的是通義千問，文心一言似乎會有一個 " 思考 " 的過程。
從多輪對話能力來看，兩者都有一定的多輪對話能力，都可能會根據反復對話有所校正，文心一言可能略好點，通義千問有時候比較瘋魔。
文生圖方面，文心一言還需要提升，差距比較大，通義千問還沒有上線文生圖。
這次評測的均為學習或教育方面的問題，題目不多，或許評測有偏頗。整體而言，完全用我們目前的大模型來輔導學習，尚存距離。國內的大模型還在路上，需要給他們成長的時間。正如 ChatGPT 一樣，它也經歷了從胡亂解題，到逐漸靠近正確答案，尤其是 GPT-4，在專業和學術上接近人類水平。
蓋茨說 "AI 聊天機器人將 18 個月內可以輔導作業 "，指的應該是國外的大模型，國內的或許還需要更長時間。
END
本文作者：王上
標簽：
2226套,整套月租2621元起!朝陽首批面向大眾的保租房開始登記!
