Just another IT person in Indonesia

Apa itu Sentiment Analysis / Opinion Mining ?

2011-01-20T00:49:00.000-08:00

Apa itu Sentiment Analysis / Opinion Mining ?

Opinion Mining / Sentiment Analysis (sebagian besar researcher menganggap dua istilah ini sama/interchangeable) merupakan sebuah cabang penelitian di domain Text Mining yang mulai booming pada awal tahun 2002-an. Riset-nya mulai marak semenjak paper dari B.Pang dan L.Lee [1] keluar. Secara umum, Sentiment analysis ini dibagi menjadi 2 kategori besar :

Coarse-grained sentiment analysis
Fined-grained sentiment analysis

Coarse-grained sentiment analysis - kita mencoba melakukan proses analysis pada level Dokumen. Singkatnya adalah kita mencoba mengklasifikasikan orientasi sebuah dokumen secara keseluruhan. Orientasi ini ada 3 jenih : Positif, Netral, Negatif. Akan tetapi, ada juga yang menjadikan nilai orientasi ini bersifat kontinu / tidak diskrit.

Fined-grained sentiment analysis - kategori kedua ini yang sedang Naik Daun sekarang. Maksudnya adalah para researcher sebagian besar fokus pada jenis ini. Obyek yang ingin diklasifikasi bukan berada pada level dokumen melainkan sebuah kalimat pada suatu dokumen.
contoh :

Saya tidak suka programming. (negatif)
Hotel yang baru saja dikunjungi sangat indah sekali. (positif)

Hingga sekarang, hampir sebagian besar penelitian di bidang sentiment analysis hanya ditujukan untuk Bahasa Inggris karena memang Tools/Resources untuk bahasa inggris sangat banyak sekali. Beberapa resources yang sering digunakan untuk sentiment analysis adalah SentiWordNet dan WordNet.

Sentiment analysis terdiri dari 3 subproses besar [2]. Masing-masing subproses ini bisa kita jadikan bahan/topik riset secara terpisah karena masing-masing subproses ini membutuhkan teknik yang tidak mudah :

Subjectivity Classification
Orientation Detection
Opinion Holder and Target Detection

Subjectivity Classification - menentukan kalimat yang merupakan opini.

A bike has 2 wheels VS It is a good bike !

Orientation Detection - setelah berhasil diklasifikasi untuk kategori Opini, sekarang kita tentukan apakah dia positif, negatif, netral ?

It is a good bike ! VS ah, It is a bad bike !

Opinion Holder and Target Detection - menentukan bagian yang merupakan Opinion Holder dan bagian yang merupakan Target.

Harry said it is a good bike.

[1] Silakan gunakan search engine dengan kata kunci sentiment analysis B. Pang L. Lee
[2] Taras Zagibalov (slide) and J. Caroll. Automatic seed word selection for unsupervised sentiment classification of chinese text. In proceedings of the 22nd international conference on computational linguistics. vol 1, page 1073 (ACL)

Information Related to Moslem Society In South Korea

2011-01-11T22:57:00.000-08:00

Introduction :

This blog post was created to inform people who want to know Where the locations of all korea moslem societies are ? and How to contact these societies ? I hope this information will be beneficial for some persons. This blog will be updated regularly.

도입부 :
한국 무슬림 사회들이 어디인지 잘 모르는 사람을 알려 주기 위해서 이블로그 포스트를 만들었다. 그리고 어떻게 이 사회들와 연락이 닿니 ? 이것이 당신에게 도움이 되었으면 한다. 이것은 규칙적으로 보완할 블로그 포스트 이다.

Key Words :
Korea Moslem Society, Korean Moslem, Moslem in Korea, Mosque and Society in Korea, Moslem Life in Korea.

The Main organization shading All Moslems in South Korea is Korea Moslem Federation (KMF) - 한국이슬람교중앙회. This organization is recognized and approved by South Korea Government for supporting All moslems in South Korea. This organization is the root for all things related to Korea moslem activities or other organizations. Contact for KMF :

Website : http://www.koreaislam.org/
Address : Seoul Teukbyeol si, Yongsan Gu, Hannam Dong, 732-21 Beon Ji
Tel : 02-793-6908
Fax : 02-798-9782

Islam Information Office in Korea
http://www.islaminformation.net/

I tried to cluster the information based on the city where the societies are located in :

Daejeon City (대전 광역시)

1. Islamic Center of Daejeon (ICD)

This place is the Moslem center in Daejeon city. We do sholah jum'ah here every friday. We also have regular saturday dars. Halal Foods are also provided by this organization and so on. Now, we are going to move on for creating Permanent Mosque in Daejeon.
Address : Yuseong-Gu, Gung-Dong 404-9, 2nd Floor, Daejeon, 305-701, South Korea
Phone : +82-10-6892-5009
Website : http://sites.google.com/site/daejeonmosque/

2. KAIST Moslem Student Association (MSA)

This organization established around 5 - 6 years ago. The aim and purpose of MSA is to serve the Message of Alloh and to help Moslem Community in KAIST (Korea Advanced Institute of Science and Technology) to live according to the Qur'an and Sunnah. The mission of this organization is to provide a unified platform of expression for Islam/Moslem, to develop educational outreach and social services that translate the teachings of the Qur'an and Sunnah.
Address : KAIST W2 Building 2nd floor, Yuseong-Gu, Gwaseong-Dong, Daejeon, South Korea
Website : http://msa.kaist.ac.kr/

3. IMNIDA (Ikatan Muslimin Indonesia di Daejeon) - Indonesian Moslem society in Daejeon

This organization is located in Musholla An-Noor, Near Daejeon Station/Subway Station. This is the place where Indonesian Workers and Students meet.
Address : -
Website : http://imnidakorea.blogspot.com/

Seoul City (서울 특별시)

1. Seoul Central Mosque (서울 중앙 성원)

This is the Main Mosque in Korea, The center of Korean Moslem. Korea Moslem Federation is also located in this area. The Seoul Central Mosque opened in 1976 in Itaewon, Seoul. It is located in Hannam-dong, Yongsan-gu. It holds lectures in English, Arabic, and Korean. Friday (Jummah) prayers regularly attract up to 800 worshipers.

- Detail Explanation (In Indonesian Language)
- Location

2. Ikatan Keluarga Muslim Indonesia (IKMI) - Korea

This organization established in 1997. This organization is to provide great platform for Indonesian Moslem in Korea and also Moslem from other countries.
Address : Seoul Teukbyeol Si, Guro-Gu, Guro-Dong, 458-10 Beon Ji
Website : Link1, Link2
Email : ikmi.korea@yahoo.co.id, ikmi_korsl@yahoo.co.id

3. IMUSKA (Indonesian Moslem Society in Korea)

Moslem based social-educational organization for Indonesian moslem society in South Korea.
Address : Jayang-1-dong, Gwangjin-gu, Seoul-si, Korea Selatan, 231-51, B103
Website : http://imuska.org/
Email : imuska@ymail.com
IMUSKA TV : link

4. Machon Mosque

No 366-3, Machon Dong, Songpha-Gu, Seoul, Korea
018-328-4133 / 017-338-0947 / 017-396-1975
Location Detail : link

5. International Quran Research Association, Korea (IQRA)

국제 꾸란 연구회
website : http://www.quran.ac.kr

6. Islamic Book Center

Address : 137-46, Itaewon-Dong, Yongsan-Gu, Seoul
Tel : 00822-794-0968
Email : booksadam@yahoo.com

Busan City (부산 광역시)

1. Al-Fatah Mosque Busan (부산 성원)

This is the main Mosque in Busan City. Providing platform for Moslem Society in Busan City.
Address : 30-1 Namsan dong, Kumjong Gu, Busan City
Website : http://www.busanislam.or.kr/
Phone : 051-518-9991
Location Detail : link

2. PUMITA (Persaudaraan Umat Muslim Indonesia AL-Fatah) Busan

Indonesian Moslem Association Al-Fatah Busan.
Address : Busan, Namsan-Dong, Geumjung-Gu, 30-1 Beon Ji
Website : http://www.pumitabusan.com/

3. Korea Moslem Federation Busan Branch

Busan branch of the korea moslem federation mosque & islamic center
Address : 30-1. Namsan Dong Geumjung Gu Busan
Telp : 9991-051-518

4. MIFTAHKUL JANNAH Mosque

Address : 429-6 Chungbu-dong Yangsan City kyongsangnamdo, Busan
Telp : Brother Agus 010-2445-0721

5. Musholla Sinpyeong

Address : -
-on progress-

Daegu City (대구 광역시)

1. Usman Mosque (Daegu Islamic Center)

Address : Daegu Gwangyeoksi, Dalseo-Gu, JukJeon-Dong 202-6 Beon Ji
Address (Korean) : 대구광역시 달서구 죽전동 202-6번지
Tel: (053) 523-2171
Location Detail : link

2. Al-Amin Mosque

This mosque is platform for Indonesian workers in Daegu. The organization inside this masjid (Al-Amin Islamic Center) is really well organized.
Address : Daegu Gwangyeoksi, Dalseo-Gu, Igok-Dong 1000-255 Beon Ji
Address (Korean) : 대구광역시 달서구 이곡동 1000-255
Telp : 010-304-00919
Email : al_amintaegu@yahoo.com
Website : http://www.alaminkorea.com/

3. PERMATA (Persaudaraan Muslim Perantau)

To unify all indonesian moslems in Daegu city.
Telp : Brother Salim 010 – 2602 – 6099
Website : http://permatataegu.com

Gyeongsan City (경산시)

1. Yeungnam University Mosque

This is a Mosque where we can Pray 5 times alhamdulillah. Established from March 2007 granted by Yeungnam University Administration. Prayer times change according to season except Isha and Juma prayers.

Address :
Room no. 313, Analysis center, Yeungnam University, Gyeongsan 712749, South Korea,
Gyeongsan, Gyeongsangbukdo 712749, SOUTH KOREA.
Telp : 010-5188-3975
Email : kmotiur@yahoo.com
Website/Group : http://groups.yahoo.com/group/yumuslims

Changwon City (창원 시)

1. Sayyidina Bilal Islamic Center

Gongdan Sangga 402HO, 456-16 Naedong - Changwon.
(in front of Changwon Hospital)
Contact Person : 011 9693-3639
Location Detail : link

2. Komunitas Muslim Indonesia Korea (Indonesian Moslem Community in Korea)

Indonesian Moslem Community in Changwon city. Most of them are workers, they are unified by this platform called "Mosque".
Address : Gyeongnam, Changwon Si, Seongsan-Gu, Jungang-Dong, 31-15 Beon Ji
Website : http://kmikorea.net/

Incheon City (인천 광역시)

1. Bu-Pyong Mosque (부평 성원)

One of big mosque in Incheon City. Located in the east end of Incheon, Bupyeong Masjid is a place of worship for immigrant Muslim workers in nearby areas, including Namdong Industrial Complex in Incheon.
Address : 574-19 Shipcheong Dong, Bupyong Gu, Incheon Metropolitan city
Telp : (032) 512-2612
Location Detail : link

2. Dongam Islamic Center (동암 센터)

Address : 279-9, Shipjeong-dong, Bupyung-gu, Incheon City
Address (Korean) : 인천광역시 부평구 십정1동 279-9
Location Detail : link

Suwon City (수원 시)

1. Suwon Islamic Center

Address : 320-15, Dangsu-dong, Gwonseon-gu, Suwon , Gyeonggi-do
Tel : +82- 31- 295-2956

Ulsan City (울산 시)

1. Ulsan University Mosque

The location is Soejeong-ro, 17 Beon-gil number 5, Mugeodong 852-16, Bonji, Ulsan, South Korea. It takes five minutes by walking from Ulsan University Main Building. Brothers and Sisters can use this mosque for many kind of activities: sholat, read Qur'an, discussions, study, etc .

Also, if Brothers and Sisters want to donate for rent payment, here I would like mention contact persons:

- Brother Ali Agha, 010 - 5108 - 4203, e-mail: alikagha23@gmail.com

- Brother Ahsanul Haque, 010 - 8687 - 0871, e-mail: ahsanul_bd@yahoo.com

Gwangju City (광주 시) - Near Seoul (still Gyeonggi Province)

1. Gwanju Mosque

Address : Gyeonggi Do, Gwangju Si Yeok Dong, 48-9 Beon Ji
Address (korean) : 경기도 광주시역동 48-9 (464-807)
Telp : (031)761-3424
Location Detail : link

Gwangju Metropolitan City (광주 광역시)

1. Umar Bin Khattab Mosque

Mosque and Platform for moslem community in Gwangju Metropolitan City.
Address : 284-13, Yangsan-Dong, Buk-Gu
Website : http://www.quran.or.kr/gwangju/

Jeonju City (전주 시)

1. Jeonju Mosque (전주 성원)

Address : Jeollabukdo, Jeonju Si, Deokjin-Gu, Inhu-Dong 2 Ga 1567-10 Beon Ji
Address (Korean) : 전라북도 전주시 덕진구 인후동2가 1567-10
Telp : 063-243-1483
Location Detail : link

Anyang City (안양 시)

1. Anyang Rabita Mosque (안양 성원)

Address : Gyeonggi Do, Anyang Si, Manan-Gu, Anyang 5 Dong, 618-132 Beon Ji
Address (Korean) : 경기도 안양시 만안구 안양 5동 618-132
Telp : 031-444-7757, 031-444-7009
Location Detail : link

Paju City (파주 시)

1. Paju Mosque

Located near the Imjin River , the Paju Masjid is mostly frequented by Bangladeshi and Pakistani Muslims in the vicinity.
Address : Gyeonggi-Do Paju Si Worlung Myon Yong Tae Ri 421-9 Beon Ji
Telp : (031) 946-2110

Ansan City (안산 시)

1. Ansan Mosque (Ansan Islamic Center)

An imam from Bangladesh serves at the Ansan Masjid, which is operated independently by immigrant Muslims from Bangladesh, Pakistan, and Indonesia working at the nearby Ansan Industrial Complex.
Address : Gyeonggi Do, Ansan Si, Danwon-Gu, WonGok Dong, 741-5 Beon Ji
Address (Korean) : 경기도 안산시 단원구 원곡동 741-5
Telp : 031-492-1948
Location Detail : link

Pocheon City (포천 시)

1. Pocheon Islamic Center

Address : Gyeonggi-Do Pocheon Gu Sohureup Songuri 430-828 Beon Ji
Telp : (031) 542-4696

Cheonan City (천안 시)

1. Al-Madina Mosque

Address : shinbu-dong, Ch'onan, chungchangnam-do 330-130, Near Cheonan Bus Terminal
Telp : 019-019-2889484, 041-622-1786
Location Detail : link

Jinju City (진주 시)

1. Jinju Islamic Center

Address :
Jinju city, Song phyong dong, 250-7, Near Hanil hospital. go straight from Jinju IC to Hanil Hospital and take left turn on the first signal and then again take left turn on the first signal on around 200-300 meters. and find 250-7 number on 2nd floor near a resturant.
Location Detail : link
Telp : 010-2897-7861
Email : zauaf@hotmail.com

Gimhae City (김해 시)

1. Al-Hidayah Andong Mosque

- on progress -

Jeju Island (제주 도)

Even Jeju island has Islamic Center therein ! SubhanAlloh !

1. Jeju Islamic Cultural Center

This organization is headed by Prof. KIM HAJI BASHIR

Address : 1208, Chunghan Officetel, Nohyung-dong 939, Cheju City
Address (Korean) : 제주시 노형동 939 정한오피스텔 1215호 우)690-802
Telp : (064) 712-1215
Location Detail : link
Website : http://www.islamjeju.or.kr/

2. Korea Moslem Federation Jeju Branch (한국이슬람 중앙회 제주지회)

제주시연동 1399. 대림 APT 104-201
064-712-1215
011-693-3932 (바시르 김)
Email : islamcheju@hanmir.com

If you have Questions, you can contact me via email :
xxx@mm.com
xxx : alfan.farizki
mm : gmail

Useful Information :
1. http://www.islamkorea.com/mosques.html
2. http://lwiza.multiply.com/journal/item/150
3. http://www.visitkorea.or.kr/ena/CU/CU_EN_8_1_6.jsp

Introduction to WordNet : Lexical Database for English

2010-12-13T00:56:00.000-08:00

Assalamu'alaikum teman-teman semua,

Sekarang kita akan melakukan kajian terhadap salah satu Tools yang sangat berguna di dunia Text Mining yaitu WordNet. WordNet merupakan basis data lexical untuk bahasa inggris. WordNet melalukan pengelompokan kata atau collocations (collocation adalah beberapa kata yang muncul bersama (berurutan) dan membentuk makna tertentu, contoh "car pool") dalam satu himpunan yang disebut synset. Jadi, di dalam WordNet, ada banyak sekali synset.

Seperti yang sudah disebutkan sebelumnya, setiap synset mengandung kata-kata yang bersinonim atau collocations yang bersinonim. Kata/collocation yang mempunyai makna/semantic yang berbeda, akan berada pada synset yang berbeda pula. Defini asli dari synset (berdasarkan dokumentasi asli WordNet) : a set of words that are interchangeable in some context without changing the truth value of the preposition in which they are embedded.

Berikut adalah contoh Synset (diambil dari WordNet Online - dengan kata kunci "good") :

S: (adj) estimable, good, honorable, respectable (deserving of esteem and respect) "all respectable companies give guarantees"; "ruined the family's good name"
S: (adj) beneficial, good (promoting or enhancing well-being) "an arms limitation agreement beneficial to all countries"; "the beneficial effects of a temperate climate"; "the experience was good for her"

Synset pertama terdiri dari kata estimable, good, honorable, dan respectable. Synset kedua terdiri dari kata beneficial, dan good. Kita bisa lihat disini bahwa kedua synset ini mempunyai semantik yang berbeda. Setiap kata pada synset yang sama bersifat interchangable dalam sebuah kalimat. Kata good adalah polisemi : bentuk tekstual sama, tetapi mempunyai semantik yang berbeda-beda.

WordNet juga menyediakan Relasi semantik antar synset. Relasi semantik antar synset ini tergantung pula dari Part-of-Speech katanya, misal berikut (dikutip langsung dari Wikipedia) :

Nouns
- hypernyms: Y is a hypernym of X if every X is a (kind of) Y (canine is a hypernym of dog, because every dog is a member of the larger category of canines)
- hyponyms: Y is a hyponym of X if every Y is a (kind of) X (dog is a hyponym of canine)
- coordinate terms: Y is a coordinate term of X if X and Y share a hypernym (wolf is a coordinate term of dog, and dog is a coordinate term of wolf)
- holonym: Y is a holonym of X if X is a part of Y (building is a holonym of window)
- meronym: Y is a meronym of X if Y is a part of X (window is a meronym of building)
Verbs
- hypernym: the verb Y is a hypernym of the verb X if the activity X is a (kind of) Y (to perceive is an hypernym of to listen)
- troponym: the verb Y is a troponym of the verb X if the activity Y is doing X in some manner (to lisp is a troponym of to talk)
- entailment: the verb Y is entailed by X if by doing X you must be doing Y (to sleep is entailed by to snore)
- coordinate terms: those verbs sharing a common hypernym (to lisp and to yell)

Relasi semantik tersebut belaku untuk setiap kata atau collocations yang ada di dalam synset yang berhubungan. Selain itu, WordNet juga menyediakan relasi antar kata (yang hanya berlaku antar kata) seperti antonim.

WordNet menyediakan polysemy count : jumlah synset yang mengandung sebuah kata. WordNet juga menyediakan Frequency Score : seberapa sering sebuah kata muncul pada sense/semantik tertentu.

Text Summarization Menggunakan Lexical Chain

2010-09-25T08:31:00.000-07:00

안녕하세요 ! (maklum, sedang belajar bahasa korea)
Assalamualaikum Warohmatullohi Wabarokatuh !

Kali ini, saya ingin bercerita mengenai salah satu metode yang digunakan untuk text summarization. Metode tersebut bernama Lexical Chain. Metode ini sebenarnya sudah lama dan cukup terkenal di era awal tahun 2000-an karena prosesnya cukup mudah dan bisa dimodifikasi oleh orang lain. Filosofi munculnya metode Lexical Chain (anak PhD harus ngomongin filosofi :D) ini adalah bahwa betapa pentingnya connetiveness diantara segment text yang terpilih untuk meminimalisasi hasil ringkasan yang mempunyai kalimat-kalimat yang tidak terkait (link), bahasa gaulnya : kalimat-kalimatnya nggak nyambung !!.

Paper asli : Meru Brunn, Yllias Chali, Christopher J.Pincak. Text Summarization Using Lexical Chains. DUC 2001. search aja di Google !

Ada banyak versi metode Lexical Chain (saya tidak tulis referensinya, silakan dicari sendiri :D) :

Versi Hirst dan St'Onge
Versi Barzilay dan ElHadad
Versi Silber dan McCoy's
dll

Yang akan saya jelaskan di entri blog kali ini adalah versi dari Meru Brunn ,et al 2001 (University of Lethbridge). Mereka membangun sistem Text Summarizer yang akan dilombakan pada DUC (Document Understanding Conference) Tahun 2001. Ini udah jadul bos:D. Sekarang tuh zamannya TAC (Text Analysis Conference). Anyway, Intinya mereka sukses disana (nggak tau dapat juara berapa ?? :D).

Metode Lexical chain versi mereka terdiri dari 4 modul besar :

Preprocessing
Noun Filtering
Lexical Chainer (inti dari lexical chain)
Sentence Extractor

Saya akan mencoba menjelaskan briefly 4 modul tersebut secara berurutan.

Preprocessing. proses pertama ini terdiri dari Text Segmentation, Part-of-Speech Tagging, dan Parsing/Chunk Tagging. Yang pertama adalah Text Segmentation, text segmentation bertujuan untuk memecah sebuah dokumen menjadi kumpulan/grup kalimat yang mempunyai topik yang sama. Teknik yang biasa digunakan untuk text segmentation adalah teknik Linier Text Segmentation (Choi et al, 2000). Idenya adalah sederhana, kesamaan topik antar kalimat adalah dekat jika nilai cosine similarity antar kalimat tersebut juga dekat. Grouping kalimat menggunakan perhitungan ini (tapi..ya..nggak gampang juga, :D soalnya kan ini masalah grouping, jadi ada tambahan teknik, tapi ya intinya adalah seperti ini).

contoh, ada dokumen terdiri dari 6 kalimat {K1, K2, K3, K4, K5, K6}. Contoh hasil text segmentation adalah ({K1, K2, K6}, {K4, K5}).

Yang kedua adalah Part-of-Speech(POS) Tagging. Apa itu POS Tagger ? silakan lihat entri blog saya di zaman sebelumnya :D. Jadi, setiap kata yang ada di setiap kalimat (di setiap segment), semuanya ditagging menggunakan POS Tagging. Sebenarnya, tujuan utamanya adalah untuk mendapatkan NN (kata benda) yang akan digunakan untuk proses chaining. Untuk Bahasa Indonesia, Anda dapat menggunakan POS Tagger dari saya (IPOSTagger) untuk proses tagging.

Yang ketiga adalah Parsing/Chunk Tagging. Apa itu Chunk Tagging ? silakan lihat posting saya sebelumnya. Selain Chunk Tagging, Anda bisa menggunakan Parser juga. Sudah banyak parser yang disediakan di Internet, yang paling terkenal adalah Stanford Parser. Untuk Bahasa Indonesia, Chunk Tagging belum tersedia, tetapi Parser sudah tersedia, ada banyak buatan anak ITB dan UI juga ada. Tujuan utamanya adalah untuk mendapatkan NP (Noun Phrase) yang akan digunakan/diproses di modul kedua.

Noun Filtering/Extraction. Di modul ini, NP (Noun Phrase) diambil dari proses sebelumnya untuk dijadikan sebagai Candidate Words. Barzillay dan ElHadad (1997) mejelaskan mengapa lebih baik menggunakan NP (Noun Phrase) daripada sebuah kata benda NN. Jadi, untuk setiap segment, akan ada daftar Candidate Words. Dan, kita lanjut ke modul berikutnya..

Lexical Chain Construction. Untuk setiap segment, himpunan Candidate Words dikembangkan dengan menambahkan daftar sense. Daftar sense didapat dari WordNet. Jadi, kira-kira ada array seperti berikut :

{

wordcandidate1[sense11, sense12, ..],

wordcandidate2[sense21, sense21, ..],

}

Nah, dari daftar ini, kita buat Chain antar wordcandidate yang mempunyai himpunan sense yang beririsan (ini metode paling sederhana). Jadi, akan ada banyak chain yang terjadi, ya nggak ??

Selanjutnya, kita akan memilih chain mana yang mewakili segment yang bersesuaian. Gampangnya (lagi2x ini adalah cara yang paling sederhana), kita pilih chain yang paling panjang (word candidate-nya).

Sampai sini, tiap segment direpresentasikan/dimodelkan dengan sebuah chain yang terdiri dari wordcandidate yang mempunyai sense yang beririsan. Lalu, kita lanjut ke modul terakhir.

Sentence Extractor. Modul ini mempunyai dua submodul : Segment Selection, dan Sentence Extraction. Yang pertama adalah segment selection. Tujuannya adalah untuk memilih text segment yang terkait dengan topik dokumen. Pendekatannya adalah dengan menghitung score dari chainmember. Perhitungan ini dilihat di Paper aslinya (gampang kok :D). Setelah masing-masing segment dihitung scorenya, kemudian di-ranking. Lalu, hanya N TOP rank yang digunakan untuk proses selanjutnya. N bisa ditentukan dari penelitian/percobaan.

Yang kedua adalah sentence extraction. Jadi, setiap Kalimat yang ada di Dokumen di-ranking berdasarkan perhitungan suatu nilai, katakanlah scorekalimat(i) untuk nilai kalimat ke-i. Secara abstrak, perhitungan scorekalimat(i) melibatkan kata-kata yang ada di kalimat ke-i dan juga lexical chain yang terkait kata-kata di kalimat ke-i yang ada di segment yang bersesuaian.

Hasil Summary adalah : ranked list of top-scoring sentences. Silakan dipilih N Top Ranknya. tergantung, rasio kompresi summary yang Anda kehendaki.

Bagaimana ? cukup menarik dan mudah ? Anda dapat bermain-main di metode ini. Ada orang yang lulus Masternya gara-gara bermain di metode ini :D. Mungkin, bisa juga dapat PhD :D: (Nah, kalau yang ini 99% tidak mungkin :D). Intinya adalah silakan Anda modifikasi metode Lexical Chain Anda sendiri.

Rasanya cukup menarik jika diterapkan ke BAHASA INDONESIA tercinta ! Ada yang mau riset di bidang ini ??? :D

Semoga bermanfaat, jika ada yang ingin berdiskusi dengan saya. Silakan kirim email ke xxx@gmail.com dimana xxx : alfan.farizki

END OF ENTRY

Link Download untuk paper IPostagger (The Best POS Tagger for Bahasa Indonesia)

2010-09-25T06:37:00.000-07:00

Bagi yang menggunakan IPostagger, dan ingin mengetahui mengenai metode yang digunakan (untuk referensi), silakan gunakan paper berikut yang merupakan paper dasar dari IPostagger.

http://www.filefactory.com/file/b3a67dg/n/Ipostagger.pdf

Dan, jika ada yang membutuhkan SDK IPostagger, silakan hubungi xxx@gmail.com, xxx : alfan.farizki

Chunk Tagging dan Chunk Labelling

2010-06-27T17:43:00.000-07:00

Chunk tagging adalah sebuah task di bidang NLP yang bertugas untuk memberi batas setiap chunk pada kalimat. Chunk adalah sebuah/beberapa kata dalam kalimat yang masih terkait seperti frase. Sebenarnya, teknik yang digunakan sama dengan POS tagging, perbedaannya terletak pada label yang digunakan. Pada POS tagging label yang digunakan adalah JJ, VBI, NNP, dll, tetapi kalau pada pada Chunk tagging, label yang digunakan adalah STRT, INSTP, STP, UNSTP.

STRT : menandakan awal dari chunk
INSTP : menandakan bagian tengan dari chunk
STP : menandakan bagian akhir dari chunk
UNSTP : menandakan chunk yang hanya terdiri dari satu kata

Sebenarnya, label yang digunakan tidak harus berjumlah 4 seperti yang sudah disebut pada bagian sebelumnya. Kita bisa membuatnya menjadi hanya 2 label atau 3 label saja. Penentuan mana yang terbaik, harus dilakukan penelitian terhadap bahasa yang digunakan.

Sebelum melakukan Chunk tagging, kita harus melakukan terlebih dahulu POS tagging terhadap kalimat masukan. Salah satu input yang sering digunakan adalah gabungan antara Kata dengan POS-nya, outputnya adalah label chunk.

jadi, token input adalah V1-Vn, dimana V = {W, Tw}. Output adalah kumpulan Ct-Cn dimana C adalah label chunk (STRT, INSTP, dll).

berikut adalah contoh hasil Chunk Tagging:
Orang/STRT tua/INSTP pergi/STRT ke/INSTP Bandung/STP
[Orang tua]chunk1 [pergi ke Bandung]chunk2

Selain Chunk tagging, ada juga yang disebuah Chunk labelling. Tasks ini sebenarnya merupakan kelanjutan dari task Chunk tagging. Pada chunk tagging, kita hanya mengetahui batas-batas chunk pada kalimat, tetapi kita tidak mengetahui kategori chunk tersebut. Kategori chunk bisa terdiri dari NP (Noun Phrase) , VP (Verb Phrase), dll.

Proses yang dilakukan sebenarnya sama saja dengan Chunk tagging, hanya pada corpus latih, kita harus menambahkan satu lagi informasi, yaitu informasi Kategori chunk.

contoh hasil Chunk labelling:
[Orang tua]NP [pergi ke Bandung]VP

Machine learning yang digunakan bisa macam-macam, bisa HMM, SVM, CRF, dll. Penggunaan Chunk Tagging dan Chunk Labelling ini banyak sekali, misal untuk membangung Named Entity Recognizer, untuk deteksi Kata Majemuk pada bahasa Indonesia, sebagai pengganti Shallow Parser, dan lain-lain.

Engine IPostagger yang sudah saya kembangkan bisa digunakan untuk melakukan Chunk Tagging dan Chunk Labelling, hanya saja CORPUS yang digunakan belum diberi label untuk kasus ini. Kalau ada yang mau melanjutkan pekerjaan melakukan labeling terhadap corpus POS Tagger saya, silakan saja...

NLP resource yang tersedia untuk bahasa Indonesia

2010-04-01T19:21:00.000-07:00

Seperti yang saya sebutkan pada postingan sebelumnya, penelitian NLP bahasa Indonesia sangat penting sekali. untuk menunjang penelitian NLP bahasa Indonesia, dibutuhkan pula beberapa resource NLP seperti Corpus, Lexicon, Kamus, Thesaurus, Wordnet, dll...

Pada postingan ini saya mencoba untuk memberikan beberapa link yang dapat digunakan oleh teman-teman untuk mengakses beberapa resource atau tools NLP. Semoga bermanfaat untuk penelitian NLP bahasa Indonesia:

Indonesian POS Tagger

Untuk POS Tagger, Anda bisa menggunakan IPOSTagger v1.0 beta buatan saya[promosi :D]. POS Tagger ini dirancang agar bisa bekerja dengan baik untuk kasus bahasa Indonesia. Anda dapat menghubungi saya jika membutuhkan sistem POS Tagger...
www.informatika.org/~ayu/2010postagger.pdf

Indonesian Morphological Analyzer

MA untuk bahasa Indonesia sudah banyak dikembangkan di UI. Silakan hubungi Lab. Information Retrieval, Ilmu Komputer UI. http://ir.cs.ui.ac.id

Indonesian Named Entity Recognizer

Kalau ini cuma ada di UI nih..yaitu Bapak DR.Zainal Arifin Hasibuan. http://www.cs.ui.ac.id/staf/zhasibua/website%20zainal%20ok2_files/page0002.htm

Indonesian Parser

Jika Anda membutuhkan parser, di ITB sudah dikembangkan Parser. Tetapi masih rule based. Silakan kontak saya atau langsung ke dosen ITB, Ibu DR. Ayu P.

Indonesian Text-To-Speech

Silakan kontak Bapak DR. Arry Arman, Dosen Teknik Elektro ITB. di Lab. Digital Signal Processing. Beliau mengembangkan indoTTS. TTS pertama untuk bahasa Indonesia.

Indonesian Automatic Speech Recognition

Silakan kontak BPPT. Disana sudah dikembangkan Indonesian ASR dengan nama Perisalah.

Corpus

tesedia Tagged Corpus untuk kasus POS Tagger, dan juga Paralel corpus yang berguna untuk membentuk Machine Translation.

Sudah tersedia Tagged Corpus ukuran 8MB buatan Universitas Indonesia, tetapi sayangnya, kualitasnya masih kurang bagus. Tetapi Anda dapat memodifikasi corpus ini. Sedangkan Parallel Corpus yang ada dibuat di BPPT.

link : http://panl10n.net/english/OutputsIndonesia2.htm

Kumpulan Lexicon bahasa Indonesia

yang buat Mas Ismail Fahmi...

http://coding.ismailfahmi.org/2010/04/01/indonesian-lexicon-for-pos-tagger/

Kamus, Thesaurus, Glosarium

kateglo : http://www.bahtera.org/kateglo/

pusatbahasa : http://pusatbahasa.diknas.go.id/kbbi/

Silakan, buat Crawler sendiri untuk mengambil resource kata yang dibutuhkan. gimana caranya bisa kontak Mas Ismail Fahmi yang saya sebutkan diatas.

Indonesian Wordnet

Anda bisa mengakses indonesia wordnet dari project AsianWordnet

link: http://id.asianwordnet.org/

Silakan dipelajari, disediakan API buat aksesnya...

dan masih banyak lagi,....nanti klo ada yang baru akan saya Update lagi.

Rencana riset kedepan : Indonesian "OpenNLP"

2010-03-25T04:14:00.000-07:00

Sadar atau tidak, bahasa Indonesia merupakan bahasa yang digunakan oleh lebih dari 200 juta penduduk dan menyatukan seluruh penduduk Indonesia yang terdiri dari lebih 700 bahasa daerah. Oleh karena itu, kebutuhan penelitian dan aplikasi NLP bahasa Indonesia sangat tinggi sekali. Apalagi sekarang ini teknologi internet dan komputer sudah maju.

Tapi sayangnya penelitian NLP di Indonesia tidak begitu kelihatan dan masih terpisah-pisah....

Untuk itu, ada rencana untuk menggabungkan seluruh Tools Dev atau Hasil penelitian NLP bahasa Indonesia dari seluruh stake holder NLP Indonesia.

yang pertama adalah Pembentukan Indonesia OpenNLP. => rencana untuk menggabungkan seluruh tools NLP bahasa Indonesia menjadi satu kesatuan SDK.

tools ini nantinya berisi:
- tokenizer
- POS tagger bahasa indonesia
- NER bahasa indonesia
- Morphological Analyzer bahasa indonesia
- Parser
- dll....

Jadi, kalau ada temen-temen yang seneng ngoprek atau udah bikin salah satu toolsnya, dan mau di-share...
boleh ikutan...

tinggal kontak awak aja...

mari kita majukan NLP bahasa Indonesia yang merupakan identitas bangsa ini, jangan kalah sama Thai, Vietnam, dan beberapa negara ASEAN lain yang risetnya sangat gencar sekali...

Release : IPostagger_v1.0-beta, HMM-based POS Tagger Bahasa Indonesia

2010-03-10T18:57:00.000-08:00

IPostagger merupakan Engine POS Tagger yang menerapkan konsep HMM, tetapi disesuaikan untuk kasus bahasa indonesia yang beberapa katanya mempunyai awalan atau akhiran. IPostagger dibuat di Laboratorium Grafika dan Intelegensia Buatan, Teknik Informatika, ITB oleh Saya.

Jika Anda ingin menggunakan POS Tagger ini, jangan lupa cite ke :
Alfan Farizki Wicaksono, Ayu Purwarianti. HMM Based POS Tagger for Bahasa Indonesia. On Proceedings of 4th International MALINDO (Malay - Indonesian Language) Workshop. 2nd August 2010.

Paper lain bisa dilihat di : http://ir.cs.ui.ac.id/malindo2010/program.php

Fitur yang ada di IPostagger ini:

1. Kita bisa memilih model bahasa yang digunakan(NGrams) mau Bigram atau Trigram

2. Ada metode penanganan OOV menggunakan Affix Tree, kita bisa memilih mau menggunakan Prefix saja, Suffix Saja, atau gabungan keduanya.

3. Menggunakan metode Smoothing Deleted Linier Interpolation untuk Trigram dan JELINEC-MERCER untuk Bigram

Klaim : Dijamin akurasinya diatas 95% tergantung Corpus dan Tagset yang Anda punya

Lisensi : GPL gan !, open source !

Bonus : Corpus Bahasa Indonesia 8 MB buatan UI-BPPT

Contact: xxx@gmail.com
xxx : alfan.farizki

Memakai Google Translate API dengan Qt - Cara akses dokumen Web

2010-01-27T06:40:00.000-08:00

Hari ini saya sedang mengoprek di Qt, bagaimana caranya mengakses dokumen web lewat HTTP setelah sebelumnya saya mengoprek masalah Google MAPS API. Sekarang, saatnya kita bermain dengan Google Translate API (sepertinya saya senang sekali dengan google...).

Baiklah langsung saja, Jadi, intinya saya membuat Class baru yang bernama QGtransNet yang merupakan kelas utama dalam hal mash-up ke google Translate.

Oh iya, saya hanya memberi contoh potongan kode yang penting saja. Jika Anda ingin mendapatkan source code komplit, silakan Kirim Email ke saya, saya akan langsung berikan. saya OL tiap hari, jadi tenang saja....

isi file qgtransnet.h (langsung ke declare Class)

class QGtransNet : public QObject

{

Q_OBJECT

public:

/**

* Konstruktor

**/

QGtransNet(const QString &From, const QString &To, const QString &version);

/**

* Method utama untuk melakukan translate

* Hasil translate di tampung di String Hasil dan

* langsung ditampilkan di komponen UI yang disesuaikan

**/

void Translate(const QString &text);

/**

* Method untuk masalah DEBUGGING

* Echoing hasil

**/

QString debug();

//bagian yang ini silakan disesuaikan

/**

* SETTER UI

**/

void setUI(QTextEdit *textedit);

public slots:

/**

* Slot yang diinvokasi saat sudah dapat response dari SERVER

**/

void replyFinished(QNetworkReply *);

/**

* Slot penanganan Error

**/

void replyError();

signals:

/**

* Signal buatan sendiri => error

**/

void takNyambung();

private:

QNetworkAccessManager * manager;

QString *BaseURL;

QString *version;

QString *From;

QString *To;

bool onProgress;

// tempat menyimpan hasil translate

QString *hasil;

//Bagian yang ini silakan disesuaikan

QTextEdit *textedit;

};

Berikutnya file qgtransnet.cpp (yang merupakan implementasi), penjelasan detil ada pad komentar kode:

#include "qgtransnet.h"

/**

* Konstruktor

**/

QGtransNet::QGtransNet(const QString &From, const QString &To, const QString &version)

{

// inisialisasi some variables/attributes

this->BaseURL = new QString("http://ajax.googleapis.com/ajax/services/language/translate");

this->version = new QString(version);

this->From = new QString(From);

this->To = new QString(To);

this->onProgress = false;

// siap - siap pemasangan network

this->manager = new QNetworkAccessManager(this);

connect(this->manager, SIGNAL(finished(QNetworkReply*)), this, SLOT(replyFinished(QNetworkReply*)));

connect(this, SIGNAL(takNyambung()), this, SLOT(replyError()));

}

/**

* Method utama untuk melakukan translate

* Hasil translate di tampung di String Hasil dan

* langsung ditampilkan di komponen UI yang disesuaikan

**/

void QGtransNet::Translate(const QString &text)

{

//jika sedang Progress Method ini HARAAAMMM!!

if (this->onProgress || text.isEmpty())

{

return;

}

//set request-string

QString requestStr( tr("%1?v=%2&q=%3&langpair=%4|%5")

.arg(this->BaseURL->append(""))

.arg(this->version->append(""))

.arg(text)

.arg(this->From->append(""))

.arg(this->To->append("")));

//QString urlencoded(QUrl::toPercentEncoding(requestStr,":/&=?", "| "));

// ambil hasil translate dari server google

//this->manager->get(QNetworkRequest(urlencoded));

//QNetworkReply * reply = this->manager->get(QNetworkRequest(QUrl(requestStr))); //otomatis Encoded sepertinya

this->manager->get(QNetworkRequest(QUrl(requestStr))); //otomatis Encoded sepertinya

this->onProgress = true;

//synchronous

if (reply->waitForReadyRead(-1))

{

QString replyStr(reply->readAll());

return replyStr;

}

//Set UI waiting...

this->textedit->setText("Loading data hasil translate.....");

}

/**

* Slot yang diinvokasi saat sudah dapat response dari SERVER

**/

void QGtransNet::replyFinished(QNetworkReply * reply)

{

// hasilnya merupakan struktur JSON, harus di parse lagi

// misal parse pakai delimiter karakter "

QString temp(reply->readAll());

QStringList slist = temp.split("\"");

//Kalau panjang < 5 asumsi => tak ada response => mungkin putus/jaringan sibuk

if (slist.count() < 6)

{

emit(takNyambung());

return;

}

// Format JSON nya

// {"responseData": {"translatedText":"Hasil"}, "responseDetails": null, "responseStatus": 200}

// jika delimiternya \" => maka hasil ada di Index ke - 5

this->hasil = new QString (slist[5]);

this->onProgress = false;

//set Hasil di UI

if (!this->hasil->isEmpty())//NOT NULL

{

this->textedit->setText(this->hasil->append(""));

}

else

{

this->textedit->setText("Jaringan Sibuk !");

}

/**

* Slot penanganan Error

**/

void QGtransNet::replyError()

{

this->textedit->setText("Tidak tersambung dengan Server...");

}

/**

* Method untuk masalah DEBUGGING

* Echoing hasil

**/

QString QGtransNet::debug()

{

return this->hasil->append("");

}

//bagian yang ini silakan disesuaikan

/**

* SETTER UI

**/

void QGtransNet::setUI(QTextEdit *textedit)

{

this->textedit = textedit;

}

QWebView sangat Powerfull sekali, Mendukung Javascript !

2010-01-15T02:42:00.000-08:00

Sebelumnya, jika banyak yang sudah tahu mengenai QWebView ini, saya mohon maaf, karena saya sendiri masih cupu di Qt. Saya baru ngoprek beberapa minggu lalu. Jadi, kalau ada yang salah, saya mohon maaf dan minta tolong diberi masukan. ok mas....

QWebView menurut saya sangat hebat sekali. ini merupakan salah satu API yang disediakan oleh Qt untuk masalah renderer HTML, ternyata tidak hanya HTML saja...Javascript dan CSS pun bisa dirender olehnya. Saya sangat terkesima(Maklum cupu...). Qt saat ini bisa dijalankan diatas platform Symbian S60, Bayangkan saja kita bisa membuat aplikasi berbasis Back End gila-gilaan dengan API Qt yang satu ini.

Salah satunya adalah memanfaatkan Google Maps API. Kita bisa saja membuat method-method buatan sendiri(satu layer diatas Google Maps API) dengan Javascript untuk mempermudahkan kita melakukan development Qt mengunakan Google Maps API.

Uniknya, Kode ini tidak perlu ditulis di Qt, tetapi di javascript saja dan diletakkan di suatu server. Kode Qt kita cukup melakukan Loading QWebView terhadap Javascript yang diletakkan di server tersebut.

di dalam Qt, kita hanya tinggal melakukan Invokasi terhadap Kode Javascript yang sudah diload ke QWebView tersebut...

Sungguh cantik sekali...

Google Maps API dengan platform Qt

2010-01-15T02:31:00.000-08:00

Sebelumnya, ini merupakan catatan pribadi saya. Jadi, kalau ada yang tidak suka, tidak boleh protes. Saya barus saja ngoprek bagaimana menggunakan Google API menggunakan QWebKit-nya Qt.

sumber awal dari : http://efforts.embedded.ufcg.edu.br/qt/?p=80

1. Setelah melakukan promosi QWebView ke Map. kita buat code Map.h dan Map.c seperti berikut ini.

//map.h

#ifndef HEADER_H

#define HEADER_H

#include <QWebView>

class QNetworkAccessManager;

class Map : public QWebView

{

Q_OBJECT

public:

Map(QWidget *parent=0);

public slots:

void replyFinished(QNetworkReply*);

void loadCoordinates();

void geoCode(QString);

void clearCoordinates();

signals:

void reloadMap();

private:

QNetworkAccessManager *manager;

QList coordinates;

int pendingRequests;

};

#endif

//
//map.c
//

#include "map.h"
#include "ui_showmap.h"
#include <QNetworkRequest>
#include <QNetworkAccessManager>
#include <QNetworkReply>
#include <QDomDocument>
#include <QDomElement>
#include <QWebFrame>
#include <QWebPage>
#include <QEventLoop>
#include <QApplication>
#include <math.h>

Map::Map(QWidget *parent) : QWebView(parent), pendingRequests(0)

{

manager = new QNetworkAccessManager(this);

connect(manager, SIGNAL(finished(QNetworkReply*)), this, SLOT(replyFinished(QNetworkReply*)));

connect(this,SIGNAL(reloadMap()), this,SLOT(loadCoordinates()));

// ternyata format ini tak bisa di windows

// harus http://www.blablas..../index.html yang mengandung script JS nya

// cara ini ternyata tidak bisa

this->load(QUrl("file:///index.html"));

}

void Map::geoCode(QString local)

{

clearCoordinates();

QString requestStr( tr("http://maps.google.com/maps/geo?q=%1&output=%2&key=%3")

.arg(local)

.arg("csv")

.arg("GOOGLE_MAPS_KEY") );

manager->get( QNetworkRequest(requestStr) );

++pendingRequests;

}

void Map::replyFinished(QNetworkReply *reply)

{

QString replyStr( reply->readAll() );

QStringList coordinateStrList = replyStr.split(",");

if( coordinateStrList.size() == 4)

{

QPointF coordinate( coordinateStrList[2].toFloat(),coordinateStrList[3].toFloat() );

coordinates << coordinate;

}

--pendingRequests;

if( pendingRequests<1 )

{

emit( reloadMap() );

}

}

void Map::loadCoordinates()

{

foreach(QPointF point ,coordinates)

{

this->page()->mainFrame()->evaluateJavaScript(

QString("Open(%1,%2)").arg(point.x()).arg(point.y()) );

}

}

void Map::clearCoordinates()

{

coordinates.clear();

}

2. isi dari file screen.h dan screen.c yang merupakan Widget utama

//
//screen.h
//

#ifndef SCREEN_H

#define SCREEN_H

#include "ui_showmap.h"

#include <QtGui>

#include <QWidget>

#include <QWebView>

#include <QStandardItemModel>

class MainScreen : public QWidget ,public Ui::Form

{

Q_OBJECT

public :

MainScreen(QWidget *parent=0);

public slots :

void on_button1_clicked();

void on_button2_clicked();

void on_button3_clicked();

void on_button4_clicked();

void on_button5_clicked();

};

#endif

//
// screen.c
//

#include "screen.h"
#include "ui_showmap.h"
#include <QVBoxLayout>
#include <QDir>
#include <QWebView>
#include <QHeaderView>
#include <QDebug>
#include <QWebFrame>
#include <QWebPage>
#include <QPointF>
#include <math.h>

MainScreen::MainScreen(QWidget *parent):QWidget(parent)

{

setupUi(this);

//map->load(QUrl("http://www.trolltech.com/"));

//sepertinya ini teknik jika load dilakukan tanpa dari server

// tapi dari lokal

// ...

// FIle index.html harus satu direktori dengan file executablenya

// => ternyata cara ini tidak bisa harus dari SERVER.

//map->load(QUrl("./index.html") ) ;

}

//BUTTONS

void MainScreen::on_button1_clicked()

{

map->clearCoordinates();

map->geoCode("Campina Grande");

}

void MainScreen::on_button2_clicked()

{

map->clearCoordinates();

map->geoCode("Recife");

}

void MainScreen::on_button3_clicked()

{

map->clearCoordinates();

map->geoCode("Manaus");

}

void MainScreen::on_button4_clicked()

{

map->clearCoordinates();

map->geoCode("Sao Paulo");

}

void MainScreen::on_button5_clicked()

{

map->clearCoordinates();

map->geoCode("Rio de Janeiro");

}

3. yang perlu diperhatikan disini adalah File Index.html atau file html apapun yang mengandung kode JS penyambung ke Google API nya harus diletakkan di Server tertentu punya kita.

misal, isi kode htmlnya...

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
    <meta http-equiv="content-type" content="text/html; charset=utf-8"/>
    <title>Google Maps JavaScript API Example</title>
    <script src="http://maps.google.com/maps?file=api&v=2&key=GOOGLE_MAPS_KEY"
      type="text/javascript"></script>


    test doang
    <script type="text/javascript">

    var map;

    function initialize()
    {
        if (GBrowserIsCompatible())
        {
                map = new GMap2(document.getElementById("map"));
                map.setCenter( new GLatLng(0,0),1 );

        }

        }


    function Open(x,y)
    {
    map.setCenter( new GLatLng(x,y),13 );
    }

    </script>


</head>
<body onload="initialize()" onunload="GUnload()" topmargin="0" leftmargin="0">
    <div id="map" style="width: 341px; height: 271px"></div>
</body>
</html>

file Html ini diletakkan di server http://www.alfanNLPIndonesia.org/googleAPI/index.html

lalu alamat ini digunakan untuk pengacuan di kode Qt seperti berikut:

this->load(QUrl("http://www.alfanNLPIndonesia.org/googleAPI/index.html"));

Insyaalloh, Kode diatas Jalan.....

Mungkinkah HMM bisa melihat Succeeding POS Tag [kasus POS Tagger] ??

2010-01-10T16:41:00.000-08:00

Seperti yang sudah kita tahu sebelumnya bahwa secara normal, berdasarkan asumsi markov, HMM hanya bisa melihat ke belakang(preceding tag), entah itu first order(bigram), second order(trigram), atau third order(quatogram), atau yang lainnya.

Tetapi, tidak tertutup kemungkinan kita mendesain atau memodifikasi sistem yang menerapkan HMM supaya bisa melihat Succeeding POS tag. Mengapa terfikir hal ini ??? Karena untuk kasus POS tagger pasti secara intuisi akan meningkatkan performansi sistem POS tagger.

Misalkan kata "Ke", pastilah lebih banyak ditemukan pada konteks Succeeding tag nya adalah "Noun keterangan tempat".

Ke Bandung

Ke Jakarta

...

Lalu bagaimana Teknisnya ????

Saya sedang melakukan penelitian mengenai Hal ini. Saya mencoba untuk melakukan teknik Bi-Pas, atau gampangnya melakukan 2 kali proses tagging.

tagging pertama : dilakukan proses tagging dengan HMM biasa, hanya melihat preceding tag.

tagging kedua : Hasil tagging pass pertama digunakan untuk melakukan komputasi memafaatkan fitur Succedding tag.

Hasilnya......, hehee tunggu tanggal mainnya...

Ok sekian dulu catatan harian NLP saya. Semoga bermanfaat..

Persamaan formal HMM

2010-01-04T15:27:00.000-08:00

pada postingan sebelumnya, sudah dibahas mengenai pengertian HMM dan apa bedanya dengan Markov Chain biasa. Sekarang, kita akan lanjut untuk membahas persamaan formal yang terkait dengan HMM.

HMM secara formal adalah 3 tuple:

M = (A, B, p) (1)

dengan M adalah HMM itu sendiri, Penjelasan apa itu A? B? dan p? akan ditulis dibagian bawah.

Berikutnya adalah:

S = (s1, s2, s3, ..., sN) (2)

V = (v1, v2, v3,.....,vN) (3)

dimana S adalah himpunan state dan V adalah himpunan observasi.

berikutnya,

Q = q1, q2, .., qT (4)

O = o1, o2, ..,oT (5)

dengan Q adalah urutan pasti state dengan panjang T yang sesuai dengan observasi O.

persamaan (1) sampai (5) diatas hanyalah sebagai pengantar untuk penjelasan formal suatu HMM. jadi,

A adalah array transisi yang menyimpan probabilitas transisi dari state i ke state j.

A = [a ij], a ij = P(qt = sj | qt-1 = si)

B adalah array observasi yang menyimpan beberapa probabilitas state j menghasilkan observasi k.

B = [bi (k)], bi(k) = P(xt = vk | qt = si)

dan p adalah array yang berisi probabilitas awal, (saat implementasi ke code, ini bisa diterjemahkan jadi nol)

p = [pi], pi = P(q1 = si)

--
lambang [] menandakan array

model yang digunakan ini mempunyai beberapa asumsi,

current state hanya bergantung pada state sebelumnya
observasi yang diemisikan oleh sebuah state pada waktu t hanya bergantung pada current state.

contoh pada kasus Part-of-Speech Tagging

asumsi 1 : P(t2 | t1) atau P(t3 | t2, t1) => current tag hanya melihat konteks tag sebelumnya/tidak kedepan

asumsi 2 : P(w | t) => peluang sebuah lexicon/kata jika diketahui sebuah tag. Dia tidak melihat tag apa yang ada pada posisi sebelum atau sesudah kata w.

referensi masih sama seperti pada postingan sebelumnya

ok, sekian dulu catatan saya mengenai persamaan formal HMM. semoga bermanfaat.

apa itu Hidden Markov Model ?

2009-12-26T15:44:00.000-08:00

Definisi Hidden Markov Model:

Hidden Markov Model(HMM) adalah sebuah kakas statistik yang sudah banyak diterapkan di bidang signal processing, dan speech processing. HMM juga sukses diterapkan untuk menangani masalah – masalah yang ada pada NLP seperti part-of-speech tagging, phrase chunking, dan mengambil informasi dari sekumpulan dokumen. Andrei Markov memberikan namanya ke sebuah teori matematika yaitu Markov Chain pada awal abad ke 20[3], akan tetapi yang mengembangkan teori HMM adalah Baum dan para koleganya pada tahun 1960[2].

Sebelum melangkah lebih jauh mengenai HMM, terlebih dahulu dibahas mengenai Markov Chain yang merupakan dasar dari teori HMM. Markov Chain merupakan finite state automaton yang terdiri dari kumpulan state yang transisi antar state-nya dilakukan berdasarkan masukan observasi. Pada Markov Chain, setiap sisi antar state berisi probabilitas yang menunjukan jalur yang mungkin diambil dan total semua probabilitas yang keluar simpul adalah satu.

Gambar berikut merupakan contoh dari model Markov Chain. Model ini menggambarkan index dari stock market. Model ini mempunyai 3 state, Bull, Bear, dan Even, dan 3 indeks observasi Up, Down, Unchanged. Diberikan serangkaian observasi, contoh: up-down-down, dapat dengan mudah diketahui bahwa urutan state yang memproduksi observasi tersebut adalah Bull-Bear-Bear, dan probabilitas dari urutan state tersebut adalah 0,2 x 0.3 x 0.3.

Markov Chain bermanfaat untuk menghitung probabilitas urutan kejadian yang dapat diamati. Tidak semua urutan kejadian yang ingin diketahui bisa diamati. Untuk dapat memodelkan hal ini, model Markov Chain dimodifikasi menjadi Hidden Markov Model. Gambar II-2 menjelaskan bahwa Hidden Markov Model mempunyai beberapa simbol yang diemisikan oleh setiap state. Kunci perbedaannya adalah jika mempunyai urutan observasi up-down-down, maka tidak bisa diketahui dengan pasti urutan state apa yang memproduksi urutan observasi ini. Oleh sebab itu, urutan state disebut ’hidden’ atau tersembunyi. Walaupun begitu, perhitungan urutan state mana yang berpeluang paling besar menghasilkan urutan observasi tersebut dapat dilakukan.

REFERENSI:

[1] Blunsom, Phil. Hidden Markov Models. 19 Agustus 2004.

[2] L. Baum et. al. A maximization technique occuring in the statistival analysis of probabilistic functions of markov chains. Annals of mathematical statistics, 41:164-171, 1970.

[3] A. Markov. An example of statistival investigation in the text of eugene onyegin, iilustrating coupling of test in chains. Proceedings of the Academy of Sciences of St. Petersburg, 1913.

[4] L. Rabiner. A tutorial on hidden markov models and selected applications in speech recognition. Proceedings of IEEE, 1989.

[5] Cutting, Doug, et al. A Practical Part-of-speech Tagger. Xerox Palo Alto Research Center. In Proceding of the third conference on applied Natural Language Processing page 133-140. 1992.

[6] Schmid, Helmut. Probabilistic Part-of-Speech Tagging using Decision Tree.

Part-of-speech(POS) tagging bahasa indonesia

2009-12-11T05:59:00.000-08:00

Part-of-Speech tagging adalah sebuah pekerjaan NLP. Sebagian besar kegiatan yang dilakukan di bidang NLP seperti Information Extraction, Question-Answering, Speech Recognition, Intelligent Tutoring System, Parser, dan yang lainnya membutuhkan sistem POS Tagging ini untuk pemrosesan awalnya. Sayangnya, untuk bahasa Indonesia sistem ini hanya sedikit, publikasinya kurang, dan belum ada yang menyediakan untuk di download. Tentunya saya dan Anda merasa sedih akan hal ini, padahal Bahasa Indonesia ini diucapkan oleh lebih dari 200 Juta Jiwa [etnologue].

Apa sih part-of-speech tagging itu?

Part-of-speech tagging adalah sebuah sistem yang memberikan label kata secara otomatis pada suatu kalimat. Misalkan, ada kalimat saya makan nasi dan ada label KG=kata ganti, VV=kata kerja, NN=kata benda. Sistem akan menerima input berupa kalimat tersebut, outputnya adalah:

saya/KG makan/VV nasi/NN

sepertinya mudah ??

memang terlihat mudah, tetapi masih banyak hal yang harus diperhatikan mengingat yang melakukan pelabelan ini adalah komputer dan bukan manusia. Masalah yang dihadapi oleh para peneliti POS tagging ada dua:

Kata Ambigu : saya bisa terkena bisa ular. kedua kata bisa disamping mepunyai kelas kata yang berbeda. lalu bagaimana kita membedakannya ??
Kata OOV (Out-of-vocabulary) : sebelum melakukan pelabelan kelas kata, sistem perlu melakukan training data terlebih dahulu. lalu bagaimana dengan kata yang tidak terdapat pada data learning atau corpus?

Metode untuk mengembangkan sistem ini ada 3 tipe:

Menggunakan metode Rule Base. sistem mempunyai aturan pelabelan dimana pengetahuan berasal dari ahli linguistik.
Menggunakan metode Statistik.
Menggunakan metode Transformation Based => bisa dibilang gabungan kedua metode diatas.

untuk metode statistik beberapa yang sering digunakan adalah CRF(conditional random field) , HMM(hidden markov model), dll. penanganan OOV sendiri mempunyai metode sendiri.

Saya sudah buat sistem Part-of-Speech tagging menggunakan First Order Hidden Markov Model. sebenarnya sistem ini saya ingin khususkan untuk bahasa Indonesia. Saya ingin buktikan kalau dunia NLP Indonesia tidak kalah dengan yang lain. Hanya saja, saya belum mempunyai Corpus Bahasa Indonesia(sekarang sedang proses pengembangan).Oh iya, satu lagi, sistem saya ini juga masih belum bisa menangani OOV. OOV mempunyai label sendiri yaitu label "OOV"

Jika ada yang berminat dengan program HMM-bigram saya (mungkin untuk riset), silakan kontak Email saya di :

clx321@gmail.com atau farizki@comlabs.itb.ac.id

Program POS Tagging ini gratis dan berlisensi GPL, semoga bermanfaat untuk NLP Indonesia....

Algoritma Stemming Bahasa Indonesia

2009-11-30T07:27:00.000-08:00

Seorang teman saya yang bernama Bofandra Muhammad (dewa !!!!) telah berhasil membuat algoritma stemming sederhana untuk bahasa Indonesia. Lalu, saya coba ubah kodenaya menjadi berbasis OOP dan saya Upload ke PHPclasses. Jika Anda ada yang tertarik, silakan download di link dibawah ini, lisensinya Gratis !! GPL

http://www.phpclasses.org/browse/package/5825.html

Namun, adakah yang bertanya apakah Stemming itu ?

Stemming adalah salah satu teknik yang digunakan dalam Pemrosesan Bahasa Alami (NLP) untuk mengembalikan bentuk suatu kata menjadi bentuk Root-nya dan tidak perlu sesuai dengan tata yang ada di Kamus Bahasa. Berbeda sekali dengan Lemmatization, lemmatization adalah pengembalian bentuk kata ke bentuk lemma / semula yang harus sesuai dengan tata yang ada di Kamus Bahasa.

contoh :

studying, studied => stemming => stud

see, saw => stemming => s

tapi,

studying, studied => lemmatization => study

see, saw => lemmatization => see

Penggunaan stemming sangat banyak sekali di bidang NLP, misalkan untuk masalah Text Classifier. tentu kata-kata seperti studying, studied mempunyai maksud dan bobot yang sama ketika kita membicarakan masalah otomatisasi klasifikasi text, Jadi, stemming terhadap kedua kata ini akan meningkatkan performansi sistem. Bidang lain yang memanfaatkan stemming adalah bidang IRS [Information Retrieval System].

ok segini dulu .....

:) Mohon Koreksi jika ada yang salah, saya hanyalah manusia biasa yang sedang belajar di DUNIA ini...

Contoh penggunaan Void* untuk menyimpan berbagai representasi data

2009-11-25T15:23:00.000-08:00

Masih tentang Tips/Trik di C Programming Language

Sebenarnya, penggunaan Void * yang akan saya jelaskan dibawah ini kegunaannya sama / mirip dengan penggunakan UNION yang sudah dijelaskan sebelumnya. Intinya adalah bagaimana caranya agar kita dapat menyimpan berbagai macam tipe dalam satu struktur data, dimana setiap saat hanya ada satu tipe dan tidak boros memori atau alokasi semua kemungkinan tipe dan yang diisi hanya satu tipe.

cara lain yang menarik adalah dengan Void *. Biar gampang, saya berikan contoh kasus yaitu untuk stuktur data Matriks, dimana elemen/entry matriks dapat berupa integer atau string setiap saat. Mudah-mudahan dari kasus ini pembaca dapat memahami dan mendapatkan 'feel' sisi lain penggunaan Void*.

pertama-tama, kita buat dahulu spesifikasi struktur data dan prototipe operasi (ADT) => kita beri nama filenya adalah matriks.h

#ifndef _MATRIKS_
#define _MATRIKS_

#define        BARIS    10
#define        KOLOM    10

//Definisi struktur CELL MATRIKS
typedef struct tcell {
    // Jenis tipe : misal 0:kosong, 1:integer, 2:char*
    int flag_type;

    // Isi datanya => menggunakan void*
    void* data;
} cell;

//Struktur Matriks
typedef struct tmatriks {
    cell MA[BARIS][KOLOM];
} matriks;

//contoh operasi
void initM(matriks* M);

void isiCell(int jenis_tipe, matriks* M, int baris, int kolom, void* data);

#endif

Berikutnya kita buat Realisasi dari header diatas, yaitu file matriks.c

#include "matriks.h"

//contoh operasi

void initM(matriks* M)
{
    int i,j;

    for (i = 0; i < BARIS; i++)
    {
        for(j = 0; j < KOLOM; j++)
        {
            M->MA[i][j].flag_type = 0;
        }
    }
}

void isiCell(int jenis_tipe, matriks* M, int baris, int kolom, void* data)
{
    cell c;
    c.flag_type = jenis_tipe;
    c.data = data;

    M->MA[baris][kolom] = c;
}

Sekarang, kita buat program Utama yang memakai ADT Matriks diatas. dari program utama ini silakan Anda pelajari penggunaan Void* itu seperti apa. karena saya rasa, program utama di bawah ini sudah cukup menjelaskan penggunaan Void* untuk menampung berbagai tipe data.

Bagian yang berwarna biru merupakan hal penting yang harus teman-teman perhatikan, karena disitulah penggunaan Void* terjadi.

//file : test.c

#include
#include
#include
#include "matriks.h"

int main ()
{
    matriks M;
    int i,j;

    //init M
    initM(&M);

    //isi 0,0 dengan integer 5
    int* data_int = (int*)malloc(sizeof(int));
    *data_int = 5;
    isiCell(1, &M, 0, 0, (void*)data_int);

    //isi 1,1 dengan string "testdata"
    char* data_str = (char*)malloc(10 * sizeof(char));
    strcpy(data_str, "testdata");
    isiCell(2, &M, 1, 1, (void*)data_str);

    //tampilkan isi matriks jika tidak kosong
    for (i = 0; i < BARIS; i++)
    {
        for(j = 0; j < KOLOM; j++)
        {
            if (M.MA[i][j].flag_type != 0) //berisi
            {
                if (M.MA[i][j].flag_type == 1)
                {
                    int* ii = (int*)M.MA[i][j].data;
                    printf("%d ", *ii);
                }
                else
                {
                    printf("%s ", (char*)(M.MA[i][j].data));
                }
            }
        }
    }

    return 0;
}

Semoga bermanfaat :)

Need Feedback, Suggestion, and Question please....

Kegunaan UNION pada C Programming Language

2009-11-22T06:26:00.000-08:00

Bagi Anda yang pernah merasakan syntax bahasa pemrograman C, pernahkah Anda mendengar dengan istilah yang namanya Union??

Jika Anda sudah pernah dengar dan memahami maksudnya, maka silakan komentari tulisan saya ini jika tulisan saya ini mengandung kesalahan. Tetapi, jika Anda belum mendengar atau memahami maksud dari Union ini, saya ingin berbagi sedikit pengalaman saya dalam menggunakan Union di dalam bahasa C ini.

Biar lebih mudah dipahami, saya akan memberikan studi kasus. Misalkan, saya ingin membuat tipe struktur atau bentukan Matriks statis yang elemennya dapat berupa Integer, String, atau Float (setiap saat hanya salah satu). Perhatikan struktur dibawah ini,

#define BARIS 20

#define KOLOM 20

//cell / entri / elemen matrix

typedef struct tcell {

...

} cell;

//matrix

typedef struct tmatrix {

cell mcell[BARIS][KOLOM];

} matrix;

Sekarang, kita akan buat 2 jenis realisasi struktur cell diatas, yang menggunakan Union dan Tanpa Union.

// yang tanpa union

typedef struct tcell {

// penanda tipe

int flag_type;

// isi cell

char* sval;

int ival;

float fval;

} cell;

// yang dengan Union

typedef struct tcell {

// penanda tipe

int flag_type;

// isi cell

union {

char* sval;

int ival;

float fval;

} u;

} cell;

Lalu apa Bedanya antara kedua kode diatas ???

yang pertama(tanpa union), ketika struktur cell dialokasi di memori, ia akan mengalokasikan sebanyak jumlah elemen struktur yang ada.

misal,

untuk flag_type => int => 4 byte

untuk ival => int => 4 byte

untuk fval => float => X byte

untuk sval => char* => Y byte

total yang dialokasikan untuk jenis yang pertama = (8 + X + Y) Byte. Oleh karena yang digunakan / diisi hanya flag_type dan salah satu dari ival, fval, dan sval, maka cara diatas sangat tidak efisien, ini sama saja dengan boros memori, kita mengalokasikan tetapi tidak dipakai.

Solusinya adalah UNION (cara yang kedua).

Union akan mengalokasikan memori mulai dari Offset NOL, jadi misalkan sebelumnya diisi integer(ival), lalu diisi string(sval), pengisian sval tidak dilakukan di posisi yang disediakan khusus untuk sval, tetapi dari NOL lagi atau dari posisi awal, jadi nilai integer sebelumnya akan ditimpa. Dengan adanya Union, masalah boros alokasi / alokasi tapi tak terpakai selesai sudah...

Semoga tulisan ini bermanfaat, Jika ada yang salah saya mohon kritik dan masukan dari teman-teman semua....^_^

PHP Text Classifier

2009-11-21T00:53:00.000-08:00

PHP Text Classifier adalah sebuah Modul PHP yang dapat Anda gunakan untuk melakukan klasifikasi sebuah dokumen secara otomatis, melalui data latih tertentu. Anda dapat membentuk kategori yang Anda inginkan, asalkan Anda mempunyai data latih yang cukup untuk merepresentasikan kategori itu.

Anda dapat mendownload PHPTextClassifier buatan saya sendiri melalui link dibawah ini

http://www.phpclasses.org/browse/package/5072.html

Semoga modul ini bermanfaat....:)

Salah satu kegunaan dari Text Classifier adalah untuk mengklasifikasikan suatu berita secara otomatis pada suatu web. Contoh lain yang paling sering digunakan adalah untuk menentukan apakah Text Document masukan user merupakan SPAM atau BUKAN SPAM.

Contoh format WSDL dan Schema untuk Method yang mengembalikan List of Object

2009-11-20T23:32:00.000-08:00

Misalkan kita ingin membuat sebuah SOAP Web Service dengan spesifikasi Method yang ingin dipanggil mengembalikan type List of Object. Berikut adalah contoh format Schema dan WSDL yang akan kita gunakan untuk kasus diatas.

Untuk mempermudah pengerjaan kita, coba gunakan Neatbeans 6.7 untuk proses parsing WSDL dan generasi Code:

1. Buatlah sebuah file webservice.xsd yang berisi struktur tipe yang akan kita gunakan

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<xs:schema xmlns:ns1="http://blog.jdevelop.eu/soapwebservices.xsd" xmlns:tns="soapwebservices.jdevelop.eu"
           xmlns:soap-enc="http://schemas.xmlsoap.org/soap/encoding/"
           xmlns:xs="http://www.w3.org/2001/XMLSchema" targetNamespace="soapwebservices.jdevelop.eu" version="1.0">

    <xs:element name="inputString" type="xs:string"/>

    <xs:element name="listObatResponse">
        <xs:complexType>
            <xs:sequence>
                <xs:element name="Obat" minOccurs="0" maxOccurs="unbounded">
                    <xs:complexType>
                        <xs:all>
                            <xs:element name="id_obat" type="xs:string"/>
                            <xs:element name="nama_obat" type="xs:string"/>
                        </xs:all>
                    </xs:complexType>
                </xs:element>
            </xs:sequence>
        </xs:complexType>
    </xs:element>

</xs:schema>

2. Buatlah sebuah file webservice.wsdl yang merupakan spesifikasi Web Service yang akan kita buat

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<definitions xmlns:ns1="soapwebservices.jdevelop.eu" xmlns:xsd="http://www.w3.org/2001/XMLSchema"
       xmlns:soap="http://schemas.xmlsoap.org/wsdl/soap/" xmlns="http://schemas.xmlsoap.org/wsdl/"
       xmlns:ns="http://schemas.xmlsoap.org/soap/encoding/" name="SOAPws" targetNamespace="soapwebservices.jdevelop.eu">

    <types>
        <xsd:schema>
             <xsd:import namespace="soapwebservices.jdevelop.eu" schemaLocation="webservices.xsd"/>
        </xsd:schema>
    </types>

    <message name="doListObatResponse">
        <part name="return" element="ns1:listObatResponse"/>
    </message>

    <message name="doInputString">
        <part name="inputString" element="ns1:inputString"/>
    </message>

    <portType name="SOAPws">
        <operation name="getListObat">
            <input message="ns1:doInputString"/>
            <output message="ns1:doListObatResponse"/>
        </operation>
    </portType>

    <binding name="SOAPWebServicesPortBinding" type="ns1:SOAPws">
        <soap:binding style="document" transport="http://schemas.xmlsoap.org/soap/http"/>
        <operation name="getListObat">
            <soap:operation soapAction="urn:http://blog.jdevelop.eu/services/getListObat"/>
            <input>
                <soap:body use="literal"/>
            </input>
            <output>
                <soap:body use="literal"/>
            </output>
        </operation>
    </binding>

    <service name="SOAPService">
        <port name="WebServices" binding="ns1:SOAPWebServicesPortBinding">
            <soap:address location="http://blog.jdevelop.eu:80/services"/>
        </port>
    </service>
</definitions>

3. Setelah kita membuat kedua file diatas, kemudian bukalah Netbeans 6.7 Anda. Lalu, buatlah sebuah Project baru => Web Application.

4. di Icon project Anda, klik kanan dan pilih add => web service from wsdl

5. Lanjutkan proses dengan mengarahkan file webservice.wsdl yang sudah Anda buat pada bagian sebelumnya.

6. Setelah itu, barulah tercipta sebuah Object Bernama listObatResponse yang mempunyai atribut List of Obat.

7. Sampai disini Anda sudah berhasil membuat sebuah Web Service Kosong yang mengembalikan List Of Object, sisanya Anda tinggal membuat Logic/Implementasinya dan Mempublishnya di Server Glassfish atau Tomcat.

--
Mohon koreksi jika ada yang salah...:)