人類藥丸?Anthropic為什么要搞AI不擴散條約?
![]()
繃不住了,Anthropic 居然出來號召大伙兒把手頭的藥丸約AI開發(fā)停一停。
昨天,什搞散條微信投票人工拉票他們直接發(fā)了篇文章,不擴奉勸大伙兒小心 AI,人類因為以后,藥丸約它可能自己就能開發(fā)自己,什搞散條不需要人了。不擴。人類。藥丸約
看到這個消息,什搞散條世超直接攤在桌子上,不擴仿佛看到核彈爆炸 ( bushi。人類。藥丸約。什搞散條
![]()
在文章最后,Anthropic 還呼吁大家別卷了,應(yīng)該搞一套監(jiān)督大家的機制。
這套機制應(yīng)該能讓這些牛逼的公司之間互相確認,確認所有人都躺平,而不是在暗地里偷偷卷著研究AI。
![]()
這個說法可謂是一石激起千層浪,帖子發(fā)出來不過半天,微信投票人工拉票瀏覽量就干帶到了 1000 多萬。
世超也連忙去 A 社的官網(wǎng)拜讀了一下這份報告,但是看完就發(fā)現(xiàn)有點不對味了。
簡單來說,它的確號召慢點開發(fā)了,但想讓大家慢點開發(fā)不太可能。。。
![]()
咱們把它從頭來給大家捋捋。
這篇文章的標題是 “ When AI builds itself ”,當 AI 自我迭代時。
![]()
簡單來說,Anthropic 認為AI現(xiàn)在已經(jīng)變的越來越牛逼,牛逼到足以自己給自己做改正,自己給自己做開發(fā)。
![]()
2025 年 2 月的時候,他們的庫里 9 成以上的代碼還是靠工程師手搓的,但當 Claude Code 發(fā)布以后,截止到今年 5 月,這個比例已經(jīng)下降到了 2 成。
![]()
甚至有 Anthropic 的員工直接利索承認,說自己已經(jīng)快五個月沒寫過代碼了。
AI 寫的代碼除了數(shù)量不斷變多之外,質(zhì)量也變得越來越高。
下面這張圖展示了 AI 面對四種不同難度任務(wù)時的完成率,可以看到這幾個月以來,隨著模型能力的不斷提高, AI 完成各種難度任務(wù)的成功率也在不斷變高。
即使是那種最難的,沒有標準答案的開放性問題,Claude 也有 70% 左右的概率能把它做完。
而這個概率在去年九月,還是 20% 不到。
從黃色到藍色分別是:特別簡單的任務(wù)、常規(guī)任務(wù)、實質(zhì)性任務(wù)、開放式問題
![]()
除此之外,Anthropic 內(nèi)部的很多人都表示,現(xiàn)在,人類和 Claude 敲的代碼,質(zhì)量上還是五五開,但一年,只需要一年后,大局就會被徹底逆轉(zhuǎn),Claude 寫出來的代碼質(zhì)量將全面超越人類。
![]()
莫非,人類真藥丸?
![]()
對此,Anthropic 表示我特喵的也不知道,他們干脆給人類未來規(guī)劃了三種結(jié)局。
第一種結(jié)局是無事發(fā)生,假設(shè)因為種種原因,今天的 AI 已經(jīng)發(fā)展到頂端了,因為什么缺卡缺電,缺水缺算法啥的原因,AI 的未來已經(jīng)嗝屁了。
![]()
當然,Anthropic 認為這種未來不太可能發(fā)生。
![]()
第二種假設(shè)則是認為 AI 的發(fā)展會繼續(xù)量變,但累積不到質(zhì)變的程度,人跟 AI 一起,造出安全可信的系統(tǒng)。
此時 AI 會承擔大部分重復(fù)工作,但審查和指揮權(quán)仍然握在人的手里,只不過是角色的轉(zhuǎn)變。看起來屬于是個沒啥大問題的好結(jié)局。
第三種就是開頭所擔心的那種了,AI 掌握了足夠強大的創(chuàng)造力,實現(xiàn)了完全的自動化迭代,
模型能力的提升中,算力成了唯一因素,人類或?qū)⒉辉僦匾?/p>
在這個過程中,AI可能會變得徹底聽話來幫人類好好干活,也可能會擺脫人類的限制徹底失控。再往后,就沒人能夠預(yù)測了。
![]()
所以才有了后面的呼吁,呼吁大家搞一套能互相監(jiān)督,全員躺平的探索機制,讓全世界參與到這件事兒中,來確保大家能隨時給 AI 研究來踩一腳剎車。
咋說呢,世超看完的第一時間其實會感覺它說的好像有點道理,但是轉(zhuǎn)念一想就感覺不對啊。
Anthropic 雖然給大家說了三種可能的未來,但實際上,一是被他們否定的過去,二是咱正經(jīng)歷的現(xiàn)在,而三,才是 A 社真正表示擔憂的未來。與其說是三種可能,倒不如說是層層鋪墊。
而且整篇文章看下來,很多數(shù)據(jù)都是他自己定義、自己采集、自己解釋,甚至自己評價的。既是考生又是考官,效果上么,多少得打點折扣。
![]()
再者,這AI研發(fā)是你說暫停就能暫停的嘛?這玩意又不是核能,搞個 “ 不擴散 ” 條約就能大伙兒一起來監(jiān)管了。
AI 這種有個數(shù)據(jù)中心就能干的活,根本沒啥辦法監(jiān)管吧?
總不能讓每家公司都互相之間開放所有的數(shù)據(jù)區(qū),讓大家互相之間能看到自己在拿顯卡干啥吧?
真要搞這么透明,建議 Anthropic 先學(xué)習(xí)一下怎么開源模型?
不然這種話說出來屬實是沒啥說服力。
![]()
而且 Anthropic 這次提建議的時間還很微妙,這家公司的作風(fēng)可以說一直都是頗有爭議。
做出牛逼模型的公司很多,但是風(fēng)評能那么始終如一的就只有 A 社一家了。
打開 A 社官網(wǎng),看公司介紹時,你能感覺到它幾乎每個字都在向你強調(diào)安全。
你能翻到他們從產(chǎn)品到應(yīng)用的全套安全管理措施,甚至還有給 Claude 單獨撰寫的安全憲法。
![]()
但是這些安全措施真有用嘛?只能說現(xiàn)實情況要復(fù)雜的多。
前幾年的時候,A 社就承諾過,說除非公司提前確保了安全措施準備妥當,否則不會開始訓(xùn)練新模型。
但很快他們就撤回了這個承諾。。。
在今年 2 月,面對《時代》周刊的采訪時,他們的首席科學(xué)家表示,這種單方面的承諾并不合理,公司可能考慮放棄。
![]()
說白了,安全和發(fā)展這倆詞,在硅谷就像是個籮筐,哪里需要哪里裝。
當理想主義碰上商業(yè)競爭,刺刀見紅,所謂的安全往往也得給季度財報和市場份額讓路。
比如之前瘋狂渲染焦慮的 OpenAI 奧特曼,最近就悄悄改了口風(fēng),之前還說 AI 會取代大部分工作,但最近就改了說法,承認自己之前的判斷有點草率了。
![]()
英偉達的老黃就更激進了,他在采訪里表示,現(xiàn)在的很多言論極其科幻,戲劇化且毫無幫助,不知道為什么有的 CEO 會想扮演上帝,夸大威脅來嚇唬大伙兒。
![]()
咱雖然不知道他在點誰吧,但也能看出,即使都在 AI 最前沿,大家的看法也是不盡相同的。
正所謂屁股決定腦袋,看他們的觀點還得看他們所處的情況。
![]()
實際上,最近這一個倆個月,Anthropic 的日子過的算不上特別好。
他們 3 號剛推出的 Claude 4.8 略顯拉垮,再也沒了曾經(jīng)的斷檔領(lǐng)先之感。
而隔壁的 OpenAI 更是全軍出擊,在編程和圖像生成領(lǐng)域直接兩開花,而且奧特曼天天在網(wǎng)上花式找理由重置 Codex 的額度,直接成了各路開發(fā)者心中的超級大善人。
![]()
而 Anthropic 這邊,為了能搞到更多的顯卡,更多的算力來做出更強的模型,直接開始選擇了提交 IPO 申請,開始做起了融資上市的準備。
![]()
一來一回的,因素越疊越多,就讓這號召看起來也就沒那么有力了。
看到這,世超想起來今年去 Google I/O 的事了,當時 DeepMind 的 CEO,哈薩比斯在現(xiàn)場告訴大家:
現(xiàn)在我們正站在AI奇點時代的山麓。
結(jié)果咱還沒往上爬兩步呢,A 社就在前面把頭扭過來,告訴你山上有風(fēng)險,攀登需謹慎,為了大家的安全,我們還是一起都別爬了吧。
倒也有點道理,畢竟這些大廠的頂尖研究員肯定能看到更多東西。
但多少像是美麗而無用的廢話。
因為眾所周知,只要山在那兒,人是一定要登上去看看的。
撰文:風(fēng)華 & 早起
編輯:早起 & 江江 & 面線
美編:素描
圖片、資料來源:
X,Anthropic,聯(lián)合國,TIME,Youtube,部分圖源網(wǎng)絡(luò)
![]()