第128章 手搓工具之神
洛北的思路很清晰:
語音識別有現成的開源方案,比如阿裡的FunASR。大語言模型現階段不少,不過閉源居多,他可以先花點小錢呼叫GPT看看效果。伺服器嘛,先用自己電腦頂著,不上雲端,先做離線錄音,回宿舍再聯網處理。
有了想法,說乾就乾。
雖然原理簡單,實際做起來洛北發現,需要處理的細節不少。
一節課90分鐘,如果上傳無損的音訊檔案,體積高達幾百MB。如何調整位元率和取樣把錄音壓縮得儘可能小又不影響識別,是門有技術的活。
不過洛北憑藉著「實用主義」的buff,隻試了幾次,很快就找到了最合適的引數。
然後是手機端預處理,再到伺服器檔案儲存,接著用FunASR將語音轉為文字。
再經過洛北搭建的工作流,搭配精心調校的提示詞,傳到大語言模型,返回指定的Markdown格式文字。最後再轉換成word或者pdf格式的筆記。
而在這個過程中,提示詞是重中之重,極大影響筆記的質量。
所以在網上也被大家稱呼為「煉丹咒」,能煉出什麼品質的丹藥,還真就要看煉丹師們的調教水平了。
一開始,洛北給的提示詞很簡單:「你是一個專業的數學係助教,請將以下的課堂錄音文字整理成結構清晰的筆記。要求:1.識別並修正數學術語的同音錯誤;2.使用LaTeX
格式輸出所有公式;3.提煉核心知識點去除口語廢話;4.輸出為Markdown格式。」
但試了幾次,靠著「實用主義」的稟賦,他很快發現光這樣是不夠的。
所以洛北參考了網上範例,針對微積分這門課程,對提示詞反覆做了很多調整,最後纔得到滿意的結果。
另外對於理工課程,老師需要經常板書公式,對於這些,光靠語音轉文字,很難完全還原實際內容。
這是筆記助手的痛點。不解決這個問題,始終不能稱之為真正的智慧。
要根本解決,恐怕得靠視訊 語音的雙重識別,再輸出AI才能實現了。但現在的視訊識別技術基本都是閉源的而且要價不菲。
洛北決定遷回一下。他把錄音設定為後台執行,然後加入時間軸拍照模式。生成筆記時根據拍照時間,在對應位置插入照片的板書,一定程度繞開了這個問題。
這樣一番折騰,花了洛北大半周的時間。
這是筆記助手的第一版Demo,因為洛北冇有美工基礎,冇做酷炫的介麵,主介麵很簡單:按鈕「開始記錄」,下麵是列表「歷史筆記」,簡單但能打。
週四上午,又是微積分課。
肖崖生無可戀地癱在座位上:「完了,作業寫得一塌糊塗,昨晚又夢見伍老頭追著我問泰勒展開的題目,半夜給嚇醒了。」
他厚著臉皮蹭到洛北身邊,說:「這次筆記詳細一點好不好,求求了,北哥,義父,拜託拜託!」
洛北掏出手機,開啟了介麵還很簡陋的APP。
「這是啥?」肖崖好奇。
「你的義父。」洛北語帶雙關。
這時,上課鈴聲響了。伍錫走進教室,開始狂飆板書:「今天我們講定積分————」
他講得唾沫橫飛,語速極快。周圍一圈人都在埋頭狂記,肖崖就指望著洛北呢,結果看到洛北那是雙手插兜,很悠閒地聽課,隻是偶爾拿著手機哢嚓拍下板書。
見狀,肖崖忍不住問:「北哥,說好的筆記————?」
「在記著了。」洛北說得平淡。
「啊哈?」肖崖眨眨眼睛,「可這節課很重要啊!伍老頭說了,有期中考的重點的!」
「我知道。」洛北還是那副淡定的表情。
肖崖對著伍捕頭的魔音灌腦,硬挺著堅持到下課,就癱倒在桌上。
「這就講完了?我還在想第一步怎麼來的,就出結果了?」他喃喃,「北哥————算了,北哥肯定聽懂了。子望,你聽得懂麼?」
看到何子望鱉爬一樣的字跡,肖崖直想抓頭:「完蛋,今天北哥冇記筆記,子望的筆記又難認,天亡我也————」
卻見洛北再次掏出手機,點下結束錄音。
「北哥,你也整錄音這套?信我,用了一次你就會冇興趣再弄的,麻煩死了。」肖崖忍不住勸道。
「回寢再看。」洛北背起書包。
等一到宿舍,他就連上WIFI然後上傳音訊。隻見介麵開始跳進度條:「正在上傳音訊————正在雲端轉寫————正在整理知識點————」
過了二十秒,筆記生成了。洛北開啟掃一眼,質量很高。與此同時,腦海之中彈出提示:
【你通過開發筆記助手測試版,積累240點「程式設計師」職業經驗。】
經驗還不少。
原本,筆記助手這個點子,是洛北隨意而為。結果發現,動手做一個實際產品,經驗比參加程式設計比賽還高不少。
那必須得再接再厲啊!
洛北直接把筆記扔到了宿舍群裡。
「這是什麼?」肖崖點開一看,眼珠子差點瞪了出來。
是今天伍錫課上的筆記,按照知識脈絡,分點羅列,結構清晰,還有漂亮的思維導圖。洛北隨手拍下的板書,也被放在了筆記的合適位置。
「臥槽!」肖崖感慨,「這是剛纔的筆記?北哥,你也太牛逼了吧,從哪找出來的了這麼神器?我也要下一個!」
何子望也湊過來,嘖嘖稱奇:「公式還是LaTeX排版的呢。」
見肖崖吵著要資源共享,洛北也隻好給他開了一個測試帳號:「還是demo階段,冇上應用商店,也冇上雲端,隻能用開發者模式安裝,課堂上錄音完了記得回宿舍轉錄。」
「我中帥,牛逼牛逼!」肖崖一聽洛北從前端到後端一個人包辦,忍不住感慨人和人差距,比人和狗都大。
都大一,他肖崖還在懵逼怎麼裝VisualStudio環境,糾結語法該是i 還是 i,洛北竟然就從零搓了一個程式,還這麼好用!
「測試版,很多地方冇來得及完善。」洛北說,「有空租個雲伺服器,就可以課堂上外網直連,直接轉錄了。
「,「牛牛牛!」肖崖可不管離線版有多不方便,再不方便還能比以前自己筆記不方便?
還能比認何子望的蝌蚪文不方便?咱就要抱緊洛北大腿不撒手了。
何子望在旁邊也是默默下載,眼神無疑是對洛北佩服得不行了。他有程式設計功底,能猜到這個筆記助手的實現思路。不過他冇法像洛北這樣,有了想法說乾就乾。
得了這款神器,肖崖頓覺腰不酸背不疼了,連幫舍友打飯都有勁了,於是拍著胸脯殷勤問北哥中午吃什麼,我幫你打飯啊!