Xác định mức độ giống nhau khi so sánh hai chuỗi tiếng Anh

[nhuan07]

Chào các bạn,
...
Cho 3 chuỗi sau:
str1 = "I'm a student, I can play football".
str2 = "I'm a programmer, I can play billar".
str3 = "Steve Jobs was died, I can't football".

...
Có cách nào để đưa ra mức độ giống nhau từng đôi một của 3 chuỗi trên không các bạn.
V/d:
(str1,str2), (str1,str3), (str2,str3).

Chú ý: (a,b), thì lấy b làm chuỗi gốc, lấy a so sánh với b.

3 chuỗi trên là ngắn, trường hợp mỗi chuỗi có 10.000 char thì quét lặp đừ. Ko biết có giải pháp nào tối ưu ko.Các bạn tư vấn giúp

[gierusalem]

theo mình hiểu thì công việc của bạn tương tự như Parsing trong NLP

đại khái nó như sau: đưa vào 1 câu tiếng Anh -> chuyển về dạng cấu trúc
ví dụ:

"I'm a student, I can play football." -> /PRP /VBP /DT /NN /, /PRP /MD /VB /NN
"I'm a programmer, I can play billar" -> /PRP /VBP /DT /NN /, /PRP /MD /VB /NN

Tiếp theo chắc chỉ là vấn đề so sánh chuỗi nhỉ =)

Ở đây có một số thuật toán làm việc này như CYK, Earley ...
mình không nêu chi tiết thuật toán vì không biết công việc của bạn yêu cầu ở mức nào.


Tuy nhiên mình xin giới thiệu 2 tools cho việc này:
- c# code: SharpNLP
- online: http://nlp.********.edu:8080/parser/index.jsp

[nhuan07]

Ở đây có một số thuật toán làm việc này như CYK, Earley ...
mình không nêu chi tiết thuật toán vì không biết công việc của bạn yêu cầu ở mức nào.

...
Mình đang viết giải thuật chống SPAM. Khi user post nội dung trùng lặp nhiều lần thì nghi ngờ. .

Thank @gierusalem.
Yeah, NLP ok. Giờ tìm hiểu.
Bạn tư vấn vài tài liệu tin tưởng nha.

[gierusalem]

Yeah, NLP ok. Giờ tìm hiểu.
Bạn tư vấn vài tài liệu tin tưởng nha.

NLP là lĩnh vực rộng, bạn tìm hiểu chắc cũng kha khá time mới đến nơi đến chốn.
Bạn nên tập trung vào lĩnh vực hẹp là parsing + 2 thuật toán như mình nêu trên.
Tốt nhất là sử dụng lại 2 source mình đưa là tốt nhất


Ngoài ra bạn tham khảo book sau (theo mình là đầy đủ + cơ bản)

Speech&Language Procesing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition

phần III: syntax