【新智元導(dǎo)讀】2000 年前碳化的古卷軸，成功被 AI 破譯了近 5% 的內(nèi)容。三人天才團(tuán)隊(duì)拿下 70 萬美元大獎(jiǎng)，谷歌華人工程師一人拿下并列亞軍。

2000 年前碳化的古卷軸，如今成功被 AI 破譯！背后三人團(tuán)隊(duì)還拿下 70 萬美元大獎(jiǎng)！

AI 在考古領(lǐng)域的重大進(jìn)步，甚至登上了今天 Nature 的頭版。

要說這件事的起源，還得追溯到公元 79 年一次火山爆發(fā)，直接將一座珍藏古老的紙莎草卷軸 ——Herculaneum Papyri 的圖書館埋葬。

而這些卷軸，直到 18 世紀(jì)才被挖出，卻早已成為炭焦的木塊。由于太過脆弱，根本無法輕易展開。

今天，正式獲獎(jiǎng)的作品，展示了超過 15 欄的數(shù)百個(gè)單詞，相當(dāng)于整個(gè)卷軸的 5% 的內(nèi)容。

值得一提的是，三人拔得頭籌的團(tuán)隊(duì)中，有一位年僅 21 歲計(jì)算機(jī)天才少年 Luke Farritor，成功用 AI 從圖像裂縫中破譯內(nèi)容。

當(dāng)時(shí)，他還在 SpaceX 暑期實(shí)習(xí)，偶然發(fā)現(xiàn)這場挑戰(zhàn)賽的英雄貼。

另外，這場 AI 破譯卷軸的大賽還有 3 個(gè)團(tuán)隊(duì)獲得亞軍，包括一位谷歌華人工程師單獨(dú)獲 5 萬美元大獎(jiǎng)。

從破譯文字轉(zhuǎn)錄后可以讀出，古代哲學(xué)家對「如何享受生活」「快樂」的探討與爭辯，還揭示了人們對音樂和冒險(xiǎn)的沉思。

這一壯舉為 AI 完整破譯其余古卷鋪平了道路，研究人員表示，這可能會(huì)對我們對古代世界的理解產(chǎn)生革命性的影響。

谷歌 DeepMind 的首席執(zhí)行官：我迫不及待地想閱讀這些被認(rèn)為已經(jīng)失傳的古籍！

2000 年后，我們終于可以閱讀卷軸了！

下圖 3D 還原了，巖漿吞噬圖書館的情境。

這些卷軸在公元 79 年維蘇威火山的爆發(fā)中被碳化

直到 18 世紀(jì)，這些卷軸被挖掘出來。

目前，有 800 多卷被保存在意大利那不勒斯的一個(gè)圖書館中。

然而，這些碳化的卷軸無法在不損害的情況下展開。

一份卷軸不同的拍攝視角，看得出已經(jīng)完全碳化，像一個(gè)木頭塊。

當(dāng)任何人嘗試展開卷軸，結(jié)果就是支離破碎。

那么，問題來了，我們該如何閱讀這些卷軸？

2023 年 3 月 15 日，Nat Friedman、Daniel Gross 和 Brent Seales 發(fā)起了 Vesuvius Challenge，就是為了解決這一世紀(jì)難題。

十個(gè)月前，我們發(fā)起了 Vesuvius Challenge，旨在解決赫庫蘭尼姆莎草紙書卷這一古老問題。這是一批在公元 79 年維蘇威火山爆發(fā)時(shí)被高溫烤焦的莎草紙卷軸圖書館。

今天，我們欣喜若狂地宣布，我們瘋狂的項(xiàng)目成功了。2000 年后，我們終于可以閱讀卷軸了！

這場挑戰(zhàn)賽，要求參賽者在卷軸的 4 平方厘米區(qū)域內(nèi)，至少找到 10 個(gè)字母。

最誘人的是，挑戰(zhàn)賽為成功破譯者提供超 100 萬美元的獎(jiǎng)金。

來自法國科學(xué)院的卷軸在牛津附近的 Diamond Light Source 粒子加速器進(jìn)行了成像，然后公布了這些卷軸的高分辨率 CT 掃描圖像。

以藝術(shù)化的方式構(gòu)建 3D 卷軸

古卷是如何展開的？

大體說，虛擬展開卷軸分三個(gè)步驟進(jìn)行：

• 掃描：利用 X 射線斷層掃描技術(shù)對卷軸或碎片進(jìn)行 3D 掃描。

• 分割：在 3D 掃描圖像中追蹤卷曲的紙莎草層，隨后將其展開或鋪平。

• 墨跡檢測：借助機(jī)器學(xué)習(xí)模型，識(shí)別鋪平后段落中的墨跡區(qū)域。

這些卷軸是在位于英格蘭牛津附近的 Diamond Light Source（一種粒子加速器）掃描的。

該機(jī)器可以產(chǎn)生的高強(qiáng)度平行 X 射線束，使得成像快速、準(zhǔn)確且分辨率高。通過斷層重建算法，X 射線圖片被轉(zhuǎn)化為 3D 體素體積，形成一系列的切片圖像。

接下來，需要在 3D 空間中識(shí)別出單獨(dú)的紙莎草紙張，這一步驟主要依賴于一個(gè)名為 Volume Cartographer 的工具。

Seth Parker 在 Diamond Light Source 粒子加速器掃描卷軸

如下動(dòng)畫向我們展示了在 Volume Cartographer 中如何進(jìn)行手動(dòng)和自動(dòng)分割操作。

最終步驟是，墨跡檢測。

對于完整卷軸的大規(guī)模掃描，墨跡檢測一直是個(gè)挑戰(zhàn)，直到最近挑戰(zhàn)賽發(fā)起團(tuán)隊(duì)在兩個(gè)方向上取得了突破：

• 裂紋模式

去年夏天，Casey Handmer 在檢查平鋪后的表面體積時(shí)，發(fā)現(xiàn)了一種奇特的裂紋模式，這些裂紋似乎組成了文字。

Casey 因這一發(fā)現(xiàn)贏得了首個(gè)墨跡獎(jiǎng)，并與社區(qū)共享了他的發(fā)現(xiàn)，隨后引發(fā)了一系列的研究活動(dòng)。

• Kaggle 競賽

與此同時(shí)，數(shù)百支團(tuán)隊(duì)在 Kaggle 競賽中努力構(gòu)建出最佳的機(jī)器學(xué)習(xí)模型，目標(biāo)是檢測那些在幾百年前卷軸物理解卷過程中脫落的碎片上的墨跡。

與之前不同的是，他們利用了這些碎片照片上的真實(shí)數(shù)據(jù)進(jìn)行訓(xùn)練，而不是標(biāo)記尚未發(fā)現(xiàn)的裂紋。

雖然這些努力產(chǎn)生了一些優(yōu)秀的模型，但它們在分割團(tuán)隊(duì)處理的平鋪圖像上似乎并不奏效。

直到谷歌華人工程師 Youssef Nader 應(yīng)用了領(lǐng)域適應(yīng)技術(shù)，這一技術(shù)最終幫他贏得了第一字母獎(jiǎng)的亞軍。

在得到訓(xùn)練數(shù)據(jù)后，全球眾多參與者通過計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)不懈努力，不到一年時(shí)間，立刻攻克破解古卷閱讀這一難題。

10 個(gè)月的時(shí)間，他們?nèi)〉昧顺晒?。終于，在經(jīng)過 275 年漫長的時(shí)間中，我們有能力閱讀這些卷軸：

下圖是 PHerc.Paris. 4（法國科學(xué)院）的部分文本，2000 年來首次被人閱讀。大約 95% 的卷軸內(nèi)容仍待揭曉。

卷軸字體被揭曉那刻，就會(huì)發(fā)現(xiàn)，被兩千年的泥土和灰燼封存的祖先思維再次展現(xiàn)在世人面前！

那么，都有誰拿下了這次的大獎(jiǎng)？

三人團(tuán)隊(duì)，斬獲 70 萬美元大獎(jiǎng)

在眾多參賽作品中，有一份作品非常突出。評審結(jié)果公布，三人團(tuán)隊(duì)獲得了 Vesuvius Challenge 70 萬美元大獎(jiǎng)，他們分別是 Youssef Nader、Luke Farritor 和 Julian Schilliger。

這三位成員的名頭可不小，而且是這場挑戰(zhàn)賽中最重要的貢獻(xiàn)者。

值得一提是，21 歲的 Luke Farritor 是一名計(jì)算機(jī)學(xué)生，曾在 SpaceX 實(shí)習(xí)，是史上第一位從赫庫蘭尼姆卷軸讀出整個(gè)單詞 ΠΟΡΦΥΡΑ?（意為紫色）的人，并贏得了首字母獎(jiǎng)的第一名。

就連他的個(gè)人主頁，字體都有種年代久遠(yuǎn)的感覺。

柏林自由大學(xué)的博士生 Youssef Nader 在去年 10 月就讀出了幾列文本，并贏得了第二名的首字母獎(jiǎng)。他的成果特別清晰易讀，自然成為了團(tuán)隊(duì)的 lead。

還有 Julian Schilliger，是來自蘇黎世聯(lián)邦理工學(xué)院（ETH Zürich）機(jī)器人學(xué)學(xué)生，因其在 Volume Cartographer 上的卓越工作而贏得了三個(gè)分割工具獎(jiǎng)，讓我們能夠看到如今的紙莎草區(qū)域 3D 映射。

為了拿下最終的大獎(jiǎng)，三人組建了一個(gè)強(qiáng)大的團(tuán)隊(duì)，并向評審提交了一份，如今被評為最易讀的作品。

提交的文件中，包含了三種不同的模型架構(gòu)的結(jié)果，互相印證。其中基于 TimeSformer 的模型輸出了最佳圖像。

為了防止過擬合和數(shù)據(jù)幻讀，他們采取了多種措施，包括采用多架構(gòu)結(jié)果、研究不同的輸入 / 輸出窗口大小、應(yīng)用標(biāo)簽平滑和多樣化的驗(yàn)證方法。

這個(gè)墨水檢測代碼已經(jīng)在 GitHub 上開源。

除了卓越的墨跡檢測能力，這份作品還展示了迄今為止，我們見過的最強(qiáng)大的自動(dòng)分割技術(shù)。

便是由 Julian 開發(fā)的 ThaumatoAnakalyptor（大致意為「奇跡揭示者」）能夠從多個(gè)卷軸中生成大量紙莎草片段。

對已知區(qū)域的重新分割驗(yàn)證了之前的墨跡發(fā)現(xiàn)，全新的分割則揭示了如卷軸最外層包裹等其他地方的文字。

來自自動(dòng)分段的輸出。頂行與提交圖像重疊，底行有新的分段。

谷歌華人工程師拿下亞軍

此外，除了第一名拿下大獎(jiǎng)，Vesuvius Challenge 還評出了三個(gè)并列的亞軍，將各自獲得 50,000 美元獎(jiǎng)金。

這些團(tuán)隊(duì)在墨跡標(biāo)記和采樣的細(xì)節(jié)處理上各有創(chuàng)新。

谷歌華人工程師 Shao-Qian Mah

技術(shù)細(xì)節(jié)是對 UNETR++ 模型進(jìn)行了定制調(diào)整。這是一種基于變壓器的 UNET 衍生工具，在醫(yī)學(xué)成像中用作 3D 特征提取器，對深度層進(jìn)行最大池化處理，然后使用基于 Segformer B-5 的最終特征提取器。

另外，還有 2 個(gè)團(tuán)隊(duì)共同獲得亞軍。

團(tuán)隊(duì)二：Elian Rafael Dal Prá, Sean Johnson, Leonardo Scabini, Raí Fernando Dal Prá, Jo?o Vitor Brentigani Torezan, Daniel Baldin Franceschini, Bruno Pereira Kellm, Marcelo Soccol Gris, 和 Odemir Martinez Bruno。

團(tuán)隊(duì)三：Louis Schlessinger 和 Arefeh Sherafati。

5% 的卷軸，寫了什么？

到目前為止，研究團(tuán)隊(duì)已經(jīng)成功展開，并閱讀了第一卷卷軸的約 5%，并對露出的文字進(jìn)行了初步轉(zhuǎn)錄。

初步的閱讀提供了這篇哲學(xué)文本的一瞥，根據(jù)學(xué)者的解讀：

這篇文本主要探討的是快樂，正確地理解快樂，在伊壁鳩魯哲學(xué)中是最高的善。在卷軸的兩段連續(xù)的文字中，作者探討了食物等商品的可用性是否，以及如何影響它們提供的愉悅。

那些稀缺的東西是否比大量存在的東西帶來更多的快樂？作者認(rèn)為不是：「就像食物一樣，我們不會(huì)馬上相信稀缺的東西絕對比豐富的東西更令人愉快。但是，我們是不是更容易放棄那些大量存在的東西呢？這樣的問題經(jīng)常會(huì)被頻繁地提出討論。

由于這是卷軸的結(jié)尾，這種表述可能意味著在同一系列作品的后續(xù)書籍中還有更多內(nèi)容。在文本的開頭，提到了一位名叫 Xenophantos 的人，可能是同一位人物 —— 假設(shè)是一位音樂家 —— 也在 Philodemus 的《關(guān)于音樂》一作中被提及。

Philodemus，作為伊壁鳩魯學(xué)派的一員，被認(rèn)為是別墅中的常駐哲學(xué)家，在那里發(fā)現(xiàn)卷軸的小圖書館里工作。

初步、粗略的轉(zhuǎn)錄草稿如下：

在卷軸的后面：

在文本的結(jié)尾部分，作者對他的對手進(jìn)行了尖銳的批評，他們「在定義快樂的問題上，無論是從總體上還是具體上，都無話可說」。

最后，卷軸以這樣的話結(jié)束：

…… 我們不是不對某些事情提出質(zhì)疑，而是對其他事情有所理解 / 記憶。并且，當(dāng)這些事情經(jīng)常顯露出來那樣，我們明白說出真相是很重要的！

學(xué)者們或許會(huì)將其稱之為一篇哲學(xué)論文。

但對我們而言，是如此地熟悉，古軸的第一篇竟是講述「如何享受生活」的兩千年前的文章。

在結(jié)尾段落里，Philodemus 是否在批評斯多葛學(xué)派，聲稱斯多葛主義是一個(gè)不完整的哲學(xué)。因?yàn)樗笇τ诳鞓芬粺o所知」？

他似乎在討論的問題 —— 生活的快樂以及什么讓生活變得有價(jià)值 —— 仍然是我們今天思考的話題。

圖片識(shí)別準(zhǔn)確度如何？

人人皆知，機(jī)器學(xué)習(xí)模型通常會(huì)產(chǎn)生「幻覺」，即輸出與其訓(xùn)練數(shù)據(jù)相似、但實(shí)際上是虛構(gòu)的文本或圖片。

同樣，參賽者可能通過自己編造圖像來作弊，例如將圖像嵌入到模型權(quán)重中。

那么，如何確保這件事不會(huì)發(fā)生？這里有幾種驗(yàn)證方法：

•  技術(shù)復(fù)現(xiàn)

Vesuvius Challenge 技術(shù)審查團(tuán)隊(duì)親手復(fù)現(xiàn)了獲獎(jiǎng)作品，確保完全理解了代碼的每個(gè)細(xì)節(jié)，并獨(dú)立運(yùn)行代碼時(shí)，得到了與原作品相似的圖像。

• 多次提交相同區(qū)域的圖片

你可能注意到，所有提交的圖片都展示了卷軸的同一區(qū)域。Vesuvius Challenge 向所有參賽者提供了分割團(tuán)隊(duì)用 CT 掃描創(chuàng)建的 3D 映射的紙莎草片段。

• 小范圍的輸入 / 輸出

墨跡檢測模型并不是基于希臘字母、光學(xué)字符識(shí)別（OCR）或語言模型。它們是獨(dú)立地識(shí)別 CT 掃描中的微小墨點(diǎn)，這些墨點(diǎn)聚集起來后才形成了文字。因此，圖片中顯示的文本并非機(jī)器學(xué)習(xí)模型虛構(gòu)出來的，而是直接基于 CT 掃描中的實(shí)際數(shù)據(jù)。

下一步是破譯一部完整的作品。

Nat Friedman 宣布了下一輪 2024 年 Vesuvius Challenge 獎(jiǎng)，目標(biāo)是在年底前閱讀 85% 的卷軸。

與此同時(shí)，他表示，僅僅是走到這一步就「感覺像是一個(gè)奇跡，我不敢相信它竟成功了」。

參考資料：

• https://scrollprize.org/grandprize

• https://www.nature.com/articles/d41586-024-00346-8

本文來自微信公眾號(hào)：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。