跳到主要內容

什麼是計算語言學及計算語言學到底幹嘛了?

計算語言學,又或者自然語言處理,是一門跨學科的研究領域。在這個領域中,研究者試圖找出自然語言的規律,建立運算模型,最終讓電腦能夠像人類般分析,理解和處理自然語言。

在自然語言處理方面,我們最終極的期待是做出像星際大戰(Star Wars)裡C-3PO一般的機器人或者星艦迷航記(Star Trek)裡的宇宙翻譯機。
而最新技術裡的典型例子包括:Google翻譯,Apple的Siri,IBM Waston, Microsoft Cortana, Amazon Alexa 等。

自然語言處理難在於,他所包括的領域眾多。其中,自然語言處理依賴語言學裡處理字,詞,句子的方式 ;心理學裡人類如何理解,使用語言來溝通;計算機科學中的模型和演算法;哲學中的語義和如何解釋知識,和如何將智慧和解釋使用人工智慧的方式描述。

語言分析的層級和計算難度
當電腦在讀取一個句子甚至一個單字時,經常會有一些問題出現。

語素

以語素方面表示,untieable這個字究竟是不可被綁的還是可被鬆綁的?
字典這個東西,不是每個字都有,我的意思是,不是每一種可能出現的變化都有。例如我們在字典裡可以找到,鬆綁(untie)這個字,但是找不到能綁起來的(tieable)。而電腦要能區分哪個部分才是詞綴,從而得知untieable這個字應該是可被鬆綁的。又或者有人說,根據內容,應該是一個不可被解開的結,畢竟不可被綁的結似乎是不合理的。

句法

以句法方面,rice flies 這個字是飯(名詞)蟲(名詞) 還是飯(名詞)在飛(動詞)?什麼時候walk是名詞(例如: I have a five-minutes walk)又或者walks為動詞(He walks to classes everyday)。一樣按造邏輯,通常飯不會飛,所以flies應該是名詞。同樣的,walk作為名詞時,普遍是單數,因此是動詞的機率比較大。

語義

bank這個字在英文中有兩個意思,銀行或者岸。cotton bag 棉花袋可以是裝棉花的袋子或者棉花做的袋子。這種單字通常就依賴句子前後的內容。

談話

Bill要被檢舉了,and他叫了律師。“and”在這裡表示加上的概念還是一個原因?當然我們知道and應該被解釋為因此,所以等。然而電腦並不是這樣理解語言。他最有可能得知應該是"因此"的方式在於,檢舉跟律師有因果關聯。

語用

當有人問你,「可以幫我把鹽遞過來嗎?」你應該回答可以(並不做任何動作)還是直接把鹽遞過去?我們知道這句話是個問句,並且是一個請求動作的問句。但電腦如何得知應該回答問題還是做出行動?

知識

當我今天說我請了「五個人幫我抬了一把椅子」,你應該會用震驚或疑惑的眼神看著我。畢竟通常一把椅子不需要五個人來搬,除非這把椅子有什麼特別的地方。但電腦並不會知道這種知識,對電腦來說,這是一個文法正確的句子。因此讓電腦理解這些常識,就是一大課題。

應用

以文字為基礎的應用

  • 尋找特定主題的文件
  • 信息檢索:尋找特定詞彙或概念
  • 信息抽取:從大量資訊中抽取特定訊息
  • 完全文字理解
  • 翻譯
  • 概要:例如自動文摘
  • 知識獲取

以對話為基礎的應用 - 有關於人機互動

  • 回答問題
  • 教學系統
  • 解決問題

語言處理 (待更新)

未來期許

  • 自動產生文章(可參考bot or not)
  • 翻譯網頁成不同語言
  • 教盲人說話
  • IoT: 與App說話
  • 找餐廳
  • 回答問題
  • 改作文
  • 隱藏字幕功能
  • 自動描述足球比賽!






留言

這個網誌中的熱門文章

星巴克菜單的驚喜

大二上的時候在星巴克打工,剛開始的第一個禮拜,每天在背菜單。背咖啡,背食物的英文。太多陌生的詞彙,以至於點餐的時候不知道對方在說什麼。大概就是英文翻中文熟悉了一下之後繼續背英文的概念。但其實都是很日常的東西,點菜啊什麼的都需要。 寫這篇本來的計畫是以美國星巴克菜單為主,寫中英德翻譯。結果在翻譯的過程中,發現德國的星巴克網站上咖啡名並沒有變化。台灣的星巴克網站倒是中英都有。更有趣的是,食物基本完全沒有一樣的。 所以目前打算是以美國星巴克菜單為主翻譯成中文,然後針對單字翻譯成德文。 Coffee & Espresso 咖啡 & 濃縮咖啡   Ice Coffee  冰咖啡 Cold Brew  冷萃咖啡 Caffè Americano  美式咖啡 Espresso  濃縮咖啡 Caffè Latte  拿鐵 Caffè Mocha  摩卡 Caffè Misto  咖啡密斯朵 Cappuccino  卡布奇諾 Caramel Macchiato  焦糖瑪其朵 Flat White  白咖啡 Latte Macciato  拿鐵瑪其朵 ----  德文補充說明 Kaffee  咖啡 Mokka  土耳其咖啡 Milchkaffe  咖啡歐雷  Café au lait Frappuccino  星冰樂   (德國沒有星冰樂) Caramel Freppuccino  焦糖星冰樂 Java Chip Frappuccino  摩卡可可脆片星冰樂 Coffe Frappuccino  咖啡星冰樂 Vanilla Frappuccino  香草星冰樂 Strawberries & Cream Frappuccino  草莓星冰樂 Green Tea Frappuccino  抹茶星冰樂 Tea  茶   Chai Latte...

留學生三個必加入的大學Facebook子社團

最近因為搬家的關係沒有更新,雖然腦子裡有超多想寫想分享的。 前幾天跟朋友到Target(美國一大型零售商場,東西質量比Walmart好些)買些新家需要的東西就花了我兩百五十美金..自己都嚇傻了。 回家看看之後發現有些東西買貴了,Amazon上能買到功能相同但便宜許多的商品。這時候就想到除了在Amazon上網購外,Facebook也能掏到便宜的好貨。尤其這兩天都忘我的一直看有沒有人二手賣我需要的傢俱... 今天要分享的就是大學Facebook社團下最有用3個子社團,大學生接受學校錄取信之後,可能都會從Facebook上看看自己學校的Class of xxxx。但其實除了同屆生的FB社團,還有的各大學的FB子社團可以加入。每個學校的子社團名字可能不一樣,所以要個別找找囉。 1.Textbook exchange 什麼時候該買課本? 上了第一堂課之後。 因為每個教授不同,對課本的需求也不一樣,可能學校叫你買,但教授說不用。又或者學校叫你買什麼書,但是教授有他自己的一套系統。所以為了避免各樣的情況發生,不需要急著買課本。知道要買課本之後,一定先從Textbook exchange看,因為從上面買教材可能原價超過100,你30美金以內就可以用二手價買到。找不到可以再比較看看Amazon和學校的書店,好好善用二手書能省下很多書錢。(還想知道更多細節或者省課本費的技巧可以留言提問呦) 2. Free & For Sale 剛搬進宿舍或著搬到新公寓的時候,常會有很多東西要買。冰箱啊,收納箱啊,檯燈啊等等等等。這些東西基本上可以在學校的二手網頁看到,不僅便宜還免稅!但是要注意的是,二手貨還是沒有新的好。買之前要問賣家說商品的情況如何,可以換個角度拍張照嗎。因為賣家並不會跟你說這東西有瑕痴,買到了就是算自己衰。 3. Easy Classes 選課是件很難的事,哪些教授好,哪些課簡單,哪些課分數好拿。順便推薦一個網站專門給學生評分自己教授的,ratemyprofessor。這網站可以讓你知道這堂課的教授給分如何,上課教的好不好,課有不有趣。但就算善用了這個網站,還是會踩雷的。有些人可能會討厭通識課(Gen Ed),偏愛必修,覺得通識沒用又無聊。但是Gened又是不可不修的課。大陸常有人發水課單,而這個FB子社團就是能讓你提問說,我需要什麼類型的課,有...

bot or not?

機器人還是人? 一個多月前的掏寶雙11,不知道大家有沒有看過一則影片,引言「雙11,我的設計師好像不是人」。這是阿里巴巴推出的人工智能設計師-魯班。 語言學,自然語言處理,計算語言學,人工智慧,人機互動,機器翻譯相關的內容實在太多了,但為何需要? 當我們在嘗試讓機器更像個人時,首先需要解決的是,如何人機器聽懂人的語言,不論是語法,比喻,又或著情感。 當人工智能遇上語言,遇上藝術,或有什麼樣的發展? 自動撰寫新聞 近年來,有相當數量的新聞是由電腦的人工智慧寫的。 目前有一家公司名為Automated Insights,簡寫剛好就是人工智慧(Artificial Intelligence)的簡寫--AI。這家公司推出了一套產品名為Wordsmith。Wordsmith主要工作就是用機器自動撰寫新聞稿件。其中美聯社(Associated Press)就有與Automated Insights合作。現在Wordsmith每年可以寫15億篇新聞稿。其中一部份的內容包括天氣預報以及運動賽事。 自動撰寫的新聞稿有什麼好處? 最明顯的就是面對突發事件時,電腦所擁有的速度。例如在地震時,電腦能即刻從地震台網的數據中獲得資料,迅速的生成英文報導全文。這時記者可能剛被震醒,現在他要做的就是把已經寫完的稿點擊發布。 機器寫詩 你有沒有想過,機器還能寫詩? 先來看看幾首詩,你認為是人寫的呢,還是機器寫的? 1.My Erotic Heart MY EROTIC HEART PANTS FOR YOUR ENCHANTMENT. YOU ARE MY KEEN TENDERNESS. MY AMOROUS DESIRE AFFECTIONATELY DESIRES YOUR LITTLE HUNGER. YOU ARE MY EAGER FERVOUR.. MY UNSATISFIED APPETITE. Bot or not? 2. Haiku This event's despairingly beautiful existence- To whom does it matter? Bot OR Not? 3.Crucifixion Xing THE worst thing that could happ...