李琳山教授常用「輕舟已過萬重山」形容他的研究走過的千山萬水,以及如何峰迴路轉,柳暗花明的歷程;事實上他幾十年的研究歷程,就像是一整片遼闊的崇山峻嶺,山高水長。他把歷年的研究,歸納為「華語語音」、「語音資訊搜尋」、「多元語音技術」等五大主題,也就是這裡論述的主要架構。

早期電信研究

專利目錄

專利的文字都是律師事務所的的專業人士的手筆,但其內容都是琳山老師所提供,而且每一字每一句琳山老師都參與斟酌決定。所以專利可以算是「半著作」吧,因此放在「著作篇」。

琳山老師早在史丹福大學做博士生的年代,就不斷聽到四周的老師同學們提到「專利」;大家常說:工程師必須深入暸解專利,並多加運用相關知識,才有辦法適度保護自己的權益。他因此也隨時注意,並儘可能學到一些專利的基礎知識。事實上他拿到博士後,在加州工作的兩年中,就把他自己的博士論文中的核心技術,拿去申請美國專利;並真的獲得美國專利局核准,成為他一生中的第一項專利。他很有信心,認為自己的博士論文的核心技術的創意是非常高的格拿到專利,一定有茲;雖然他完全不知道,那項發明未來有沒有機會變成「有價值」的專利,而只是把自己的博士論文當成例題,來練習專利申請,讓他自己對專利業務更加瞭解熟悉而已。

任何人有了新發明,如果變成論文發表(學位論文、會議論文、期刊論文等),就是公諸於世,人人都可以拿來用,只是不能有「商業行為」(量產、銷售等);如擬執行商業行為,就需要向原發明人取得「授權」,如果原發明人擁有專利的話。每一個國家都有其自行制定的專利相關法令,各國各有略不相同的規定,其執行範圍限於該國國境之內。一項發明如果希望行銷不只一個國家,就需要一一申請那些國家的專利。基本上凡已公諸於世的知識不能申請專利,因此已在論文中公開發表的發明,原則上不能申請專利;所以專利申請通常需要在論文發表前,先行提出,雖然有的國家的法會會允許論文發表半年或一年內仍可提出專利申請。

專利申請最關鍵的部分,是撰寫申請書中的「發明描述」及「申請專利範圍」。一般的建議是:一定要請有法律專業素養的人來寫,寫出來的專利才能保障權益;欠缺相關法律專業的人寫的,雖也有機會申請到專利,但別人很容易設法繞過工程師自己寫的「申請專利範圍」,做出不侵犯此一專利的產品去銷售。「申請專利範圍」應框出該發明「觀念上的創新點」,這些「創新點」比較不容易被繞過;而非一般工程師習慣的描述這東西如何做出來,因為別人可能很容易做出一件略不同的東西,就繞過了它。「發明描述」需清楚說明這裡所描述的只是「一種實現該發明的方法舉例」,該發明的「觀念上的創新點」當然還有在許多不同的方法來實現,也都應該被框在「申請專利範圍」之內。當然,還有很多法律用詞用語都是工程師不會的。

琳山老師的做法,是聽多數人的建議,找法律事務所的專業人員來寫申請書;但這些法律事務所的專業人員,當然不瞭解琳山老師的工程技術,因此琳山老師必須花很大的功夫和法律事務所的專業人員溝通,讓他們瞭解他的技術精髓所在,才能寫出好的申請書「初稿」;琳山老師再仔細讀初稿,和法律專業人員仔細討論內容的文字,才能獲致較理想的申請書。申請的審查過程也很繁瑣,因為任何國家政府的專利單位,一定會請一群審查委員來審查;他們的任務就是「在雞蛋中挑骨頭」,和期刊論文的審查委員一樣,會找出各種理由,尤其是找到公開文獻中已發表的論文或是已核定的專利中,有與此申請案的內容相近或相關者,就用來對琳山老師的「申請專利範圍」的內容逐條一一予以核駁。通常琳山老師和法律事務所人員費很大心寫寫好的「申請專利範圍」此時琳山老師就需要與法律事務所的專業人員再仔細討論,或是一一加以反覆說明或辯駁,或是核駁其實有理,只好遵照核駁意見修改「申請專利範圍」,在第一次審查意見回來時,幾乎一定被核駁的體無完膚。如此反覆來回許多次,通常都要經過至少 2, 3 年的時間,最後專利才被核准。

由於專利申請必須在論文公開發表前提出,常有時間上的急迫性;為了掌握時間,琳山老師常常會先自行聯繫法律事務所,自費提出申請;若干年後相關單位有了較完善的制度,例如國科會所補助的研究計畫所產出之成果,其智財權屬於國科會或臺大(亦即國有財產),如發明人已自行申請專利者,可將專利權轉讓給國科會,並由國科會、臺大、發明人共享其權益,此時發明人可繳交自費申請時的支出單據,請國科會予以歸墊等等。因此琳山老師的不少專利是有 2 張不同的專利證書的;一張上面的「發明人」和「專利權人」都寫著「李琳山」,那是他自費申請的;另一張上面「專利權人」改為「國科會」,那是他後來轉讓給國科會的。

很多人好奇,琳山老師有不少重要的發明,也有不少專利,有獲得多少收益嗎?他的答案是「完全沒有」。今日各種智慧型手機上的,諸多華語語音技術的相關應用軟體,都使用了琳山老師的發明或研究成果,全球華人均普遍使用,這是眾所週知的;這些技術相信都被琳山老師的專利所框列到。琳山老師說,專利並不是要做出一件東西才能申請;只要有具體可行的想法,寫成申請書,可以說服專利審查委員,就可以申請到專利。琳山老師通常為了掌握時間,都在有了完整的觀念想法,可以寫成專利申請書時,就在第一時間提出申請,比技術真的做出來常常早了好幾年;而這些手機上的成功產品都是在他的技術做出來的至少十多年後才問世。這些專利到了真正「有價值」時,都已過期了。一般各國都規定,專利的有效期限是申請日或核准日起算十多年內,最多不超過 20 年;過期以後,專利就是公諸於世的,人人都可以進行商業行為的技術了。

績優團隊國際合作研究計畫

大約在 1992, 1993 年間國科會推出了一項新的研究計畫型態,名為「績優團隊國際合作計畫」;其要點是:在國內研究績效優異的學者,可組成「績優團隊」,選定某一國外有聲譽的研究單位,一同平行提出跨國合作的研究計畫,以促進跨國合作;也就是國外的研究單位也必須獲得該國的政府或企業的研究計畫並有經費補助;亦即一定要是「對等合作」,不能由我方單方補助經費。

這是國科會當時的「作業要點」前幾頁,可見到有相當多嚴謹的規定,例如計畫主持人或共同主持人需有相當優異成績,對方單位也有一定條件,經費必須雙方共同分擔,智財權歸屬應妥予規範等。

琳山老師覺得這是可以推研究國際化的一個好機會,乃積極思考並邀集國內相關領域學者討論,研究是否可以提出申請。這 2 頁是當時琳山老師為一次討論手寫的他自己的構想大綱。

計畫核准後的第一件大工程,就是國內參與者組一個訪問團去參訪日方的合作單位,希望在實體面對面的對話中,醞釀出未來幾年內可以真正推動合作的相關人員及主題方向等。

這裡說明 2005 年 8 月成行的赴日參訪活動。第 1 頁是完整行程共 10 天,參訪 ATR 及 5 所衛星機構大學,第 2 頁是其中最前面頭兩天的詳細行程舉例,可見到所有行程均詳細設定,日方亦慎重其事。第 3 頁是參與人員名單;上方是 10 位台灣方面的訪問團成員名單,來自 7 所國內大學及中研院並涵蓋不同年齡層,下方是 ATR 的主要對口人員名單。10 個人的團隊參訪日本 6 個機構,共 10 天行程,規劃安排極為複雜,幸好有許多人共同分工合作。

認真的參訪自然需要完整的團隊人員及研究計畫相關介紹資料,琳山老師也下了大功夫讓團隊成員一同努力把這件事做好。

每到一個單位,該單位都會提供一個表單,列出可能的合作課題及參與者姓名,作為參訪討論的主軸。這是一個例子。

這是回國後繳交給國科會的報告,詳細紀錄描述參訪經過。

臺大華語

在全球化的世界中,除母語以外,學習第二種或更多其他語言,是每個人都必須做的事。根據語言學習領域的研究,一般相信學習母語以外的語言最有效的方式,是一對一的家教;只是語言家教老師少而昂貴,因此一個聰明的辦法,是用機器來擔任一對一的語言家教。機器家教有勝過人類家教的機會,因為使用者可以在任何時間,任何地點,就學習例句反覆練習無數次;而人類家教有一定的工作時間,也不會有耐心讓學生一再反覆練習相同的句子;而且軟體可以大量複製。這在語音學界也被認為是一項重要的研究領域,稱為電腦輔助語言學習(Computer-Assisted Language Learning, CALL)。琳山老師在這方面也有相當多的努力,包括和軟體業者合作推出軟體產品「臺大華語(NTU Chinese,或 My Chinese Tutor, MyCT)」教外籍人士學華語;業者另推出架構接近的「My English Tutor (MyET)」教英語非母語人士學英語,兩者相加在全球各地共有數以百萬計的註冊使用者。

「臺大華語」的原始構想來自臺大的李嗣涔校長,他希望推動臺大校內的許多頂級學者,致力於若干有特殊意義及重大貢獻的研究方向;他想到了他讀臺大電機系時的同班同學,也就是琳山老師。當時是「全球化」觀念的黃金時代,美國正設法把中國大陸由「共產世界」拉出來,並逐步融入全球體系,而世界各國人士考量中國大陸未來可能的龐大市場,非常多人都努力設法「搶搭前往中國大陸的巴士」。「學習華語」是當時全球各地許多人「搶搭前往中國大陸的巴士」的重要一步,但能教華語的語言教師明顯不足。琳山老師的華語語音技術正好填上這個缺口。

琳山老師認為這是可以努力的方向,但需要「華語教學」的專業支援。李嗣涔校長乃請文學院院長協助,引入文學院所屬「語言中心」及「國際華語研習所」的多位華語教學的專業老師的經驗及力量,促成了這項臺大電資學院和文學院的跨院合作研究。另外,琳山老師也認為這必須倚賴產業界的力量,來發展商業軟體並執行營運,不能只靠臺大自己;故引進了臺大資訊系畢業系友所創立的軟體公司「艾爾科技」的協助,促成了這項由臺大校方主導的產學研究。

這項研究的最核心技術,就是針對學習者說的每一句學習例句中的每一個音、每一個字,讓機器來自動分析其語音信號,自動偵測其發音(如聲母、韻母或子音、母音)、聲調(四聲、輕聲、句調)、音量(每一句話中,每一個音的音量大小變化有其應有的分佈)、節奏(每一句話中每一個音的長短快慢有其應有的變化)四個項目,分別予以評分並指出偏誤之處。

第 1 頁是電腦播出語言教師所發出的學習例句「我很好,謝謝你」的聲音以後,學習者跟著唸完時,所看到的電腦畫面:左上角可以比較兩人發音中的每一個音的差異,及看到每一個音的評分;右邊可看到發音、聲調、節奏、音量四個項目的評分;底下有兩段信號的比較,並指出錯誤所在;右上有以動畫呈現的有錯誤的音應有的正確發音口型。第 2 頁是「學習記錄診斷書」,是在一位學習者練習了若干句以後,機器列出每一個音(ㄅ、ㄆ、ㄇ、ㄈ等)的統計所得的錯誤率及平均成績等,作為進一步加強的參考。此一核心技術獲頒中華民國專利(下 1 頁)及美國專利(前幾頁在下 5 頁)。

這項研究中另一件十分具創意及突破性的成果,是琳山老師和文學院的語言老師們一再討論後,研發出並由語言老師編寫出的「具多維結構的語境溝通功能」的華語教材。這套教材以「溝通功能」為導向,分別針對例如問候、詢問、讚美、道歉、抱怨、說明等的不同溝通功能;每一溝通功能有其「基本句型」「應用句型」兩大類,每一句型有不同的「語境」(如時間、空間、人物、表情等),甚至「表情」可分不同等級(如從強烈正面到輕度負面等),各種溝通情境都有例句,變成一套有「多維立體結構」的教材,適合以軟體呈現,供使用者點選;故使用者可以不只是學習華語的發音,還可以學習用華語如何説話。

這裡第 1 頁是 12 種溝通功能(如「問候與道別」、「詢問與回應」等),第 2 頁是以第六單元「讚美與回應」為例,其中有「基本型」「應用型」,其下並有「地」「物」「人」「事」等不同語境可以點選。其後 4 頁是第一單元「問候與道別」下的「基本型」中的「時間」「空間」「人物」「等級差」等四大類的各種不同語境,分別都可以點選學習。其下 2 頁是一個例子說明不同「表情」的「等級回應」的例子:當聽到一句讚美「你真是個好學生!」時,有十多種回應的方式,如「謝謝,你太客氣了。(接受,同時讚美對方)」「哪裡!哪裡!(接受,但禮貌)」「不敢當!不敢當!(接受,但謙遜)」「快別這麽說!(勉強接受)」「還好吧。(接受,但不確定)」「是嗎?(不接受,並有懷疑)」「少來了!(不接受,並有懷疑)」等等。再下一頁是上述各種「等級回應」中可點選其中若干種,組成一頁教材練習的頁面。此一突破性設計的教材亦獲得中華民國專刊(下 1 頁)及美國專利(下 4 頁)。

這是一張難得的相片,攝於某一次研究的工作會議中的午餐時間,前面桌面上還放著未整理的便當盒。通常工作會議不會照相,這次是因為有兩位 MIT 的 Computer Science and AI Lab (CSAIL) 教授來台訪問,他們在 MIT 也有進行相關主題的研究,所以聽說「臺大華語」的研究,就很有興趣,一定要來瞭解;琳山老師就邀請他們一同參加工作會議。左邊第一位是「艾爾科技」掌門人林宜敬博士(他也是琳山老師的學生,後來做到數發部長),左二是 MIT 的 Victor Zue 教授,左四是 MIT 的 Stephanie Seneff 教授,中間兩位是參與研究工作並提供華語教學專業的,臺大文學院的華語教學老師,右邊 3 人是臺大學生。這張相片說明「臺大華語」雖是針對實用產業及華語環境考量的研究,也一樣站在科技世界的前端,擁有突出吸引人的技術創意。
這是一張難得的相片,攝於某一次研究的工作會議中的午餐時間,前面桌面上還放著未整理的便當盒。通常工作會議不會照相,這次是因為有兩位 MIT 的 Computer Science and AI Lab (CSAIL) 教授來台訪問,他們在 MIT 也有進行相關主題的研究,所以聽說「臺大華語」的研究,就很有興趣,一定要來瞭解;琳山老師就邀請他們一同參加工作會議。左邊第一位是「艾爾科技」掌門人林宜敬博士(他也是琳山老師的學生,後來做到數發部長),左二是 MIT 的 Victor Zue 教授,左四是 MIT 的 Stephanie Seneff 教授,中間兩位是參與研究工作並提供華語教學專業的,臺大文學院的華語教學老師,右邊 3 人是臺大學生。這張相片說明「臺大華語」雖是針對實用產業及華語環境考量的研究,也一樣站在科技世界的前端,擁有突出吸引人的技術創意。

這是臺大校方主導的跨學院產學合作研究,2007 年完成時由校方與合作產業「艾爾科技」分別向全球推廣,故印製了精美的文宣,並由校長主持記者會公開發佈成果。

前 3 頁是英文的摺頁文宣的相片,之後 3 頁是其掃描內容,再後 2 頁是雙面的中文文宣。「臺大華語」是課程名稱,「My Chinese Tutor, MyCT」是產品名稱。

前 5 頁是校長記者會中琳山老師作報告時所用的投影片,下 1 頁是現場每人可拿到的一頁說明文件,再下 1 頁是「臺大華語」四個字的原始字型,是由文學院院長提供的墨寶。

合作產業「艾爾科技」推出的雙面英文文宣,一面是「臺大華語(NTU Chinese,或 My Chinese Tutor, MyCT)」,另一面是有十分接近的架構及技術的艾爾產品「My English Tutor (MyET)」,是學英語的軟體;二者同時平行推廣。

向校方申請研究經費的計畫書


臺大產學合作研究計畫補助合約書


臺大產學合作研究計畫技術移轉授權合約書


系統上線與經營規劃


校內研究計畫工作會議