我的LUCENE终于实现中文自动分词了

我的LUCENE终于实现中文自动分词了- -

                                      

其实也不是自己做的，是中科院的做的一个开放源代码自动分词系统，不过也不是完全意义的开源项目，只能做研究，不能商业化，而且不提供服务，不提供API。如果要提供API的话，则需要钱（不便宜，5万到50万不等），赫赫，也许他们即想开放源代码，又想赚钱吧。不管怎样，对于他们这种开放的态度还是很敬佩！

闲话少说，刚才说了，他们的系统不提供API，而且是用c++编写。只能生成一个.exe文件。但我想在java的环境下运行自动分词，于是，这几天根据自己他们的源代码重新做一个DLL工程，在工程中自己编写JNI的接口，编译后生成一个dll文件，然后再在java中通过jni来调用这个dll文件。赫赫，我讲讲我的思路，有兴趣的可以自己去试试。然后我再在lucene中做了一简单根据空格来分词的stop词分析器，这个分析器调用自动分词系统来生成结果并建索引。哈哈，我的Lucene 可以终于实现中文自动分词了。不过，只能研究研究，不能商业化啊。 ：）

关于中科院的自动分词系统，可以参见中文自然语言处理开放平台

- 作者： yuanlang 2004年08月10日, 星期二 21:36

Trackback

你可以使用这个链接引用该篇日志 http://publishblog./blog/tb.b?diaryID=277736

回复

- 评论人：sqlet

Wed Nov 16 17:09:42 CST 2005　 　

SQLET 开放源码的中文搜索引擎 (http://www.)

- 评论人：huxingtianxia

Mon Sep 12 18:58:21 CST 2005　 　

大哥，能否提供一下这个软件，我试一下，我被自动分词困扰好多年了，如果愿意的话请发到我的邮箱里，不胜感激！！

- 评论人：hucq

Wed Jul 20 12:05:37 CST 2005　 　

能发一份dll 或代码吗 谢谢
hcqenjoy # 126.com

- 评论人：1978

Tue Jun 21 22:47:48 CST 2005　

我的毕业设计中的一部分和这有关,能不能把您的源码发给我学习一下,谢谢.我的邮箱是[e-mail]

- 评论人：guoqiao

Sat Jun 18 19:25:23 CST 2005　 　

大哥你好，能否将源码发我一份，不胜感激!

- 评论人：suntao

Mon Jun 06 20:59:13 CST 2005　 　

你好，真羡慕你能分词拉，我挣扎了好产时间都没效果！ 能发分源代码给我吗？ 我也需要java环境下面的 谢谢拉 急需啊！ 救救我吧！
[e-mail]

- 评论人：wlb2517

Tue May 24 17:48:52 CST 2005　 　

最近在学搜索引擎，能否将源码发我一份，不胜感激，我的邮箱是
[e-mail]

- 评论人：大卫

Mon May 23 14:24:56 CST 2005　 　

大哥, 能否发一份给我试用一下啊! 我已用了好几个分词组件都不是太满意.

大哥,最好你能有个论坛就好了, 这样讨论起来就方便多了, 如果需要我可以给你一个论坛.

- 评论人：cy807

Sat Apr 30 12:59:05 CST 2005　 　

你好，我的毕设做的是dspace的中文全文检索，我下了你的split.dll.我很想知道里面的那些函数的用法和作用，想参考一下原码，如果不方便的话告诉我分词流程思路也行。
大家有谁研究过的交流一下。
我的邮箱[e-mail]
QQ:89072135

- 评论人：maxyang

Wed Apr 27 23:55:02 CST 2005　 　

您好:
由于我的毕业设计做的是搜索引擎,能不能源码和给我!谢谢
[e-mail]

- 评论人：hugh

Fri Apr 15 17:09:21 CST 2005　 　

中科院的那套我也有，并且和你一样把它编译成dll，但感觉效果很不好，英文没办法辨别词性，中文切词也不是特别理想。而且最郁闷的一点是健壮性不够，遇到一些并不是太极端的情况就会自动退出，处理速度也不近人意。
总之就是很不爽，也许他的商业版本就不一样了。

- 评论人：yuanlang

Fri Mar 11 15:02:03 CST 2005　 　

请到这里下载：http://www./download/AutoSplit.rar

- 评论人：tiaozi

Tue Mar 08 11:48:00 CST 2005　 　

正在做Nutch的中文化，能不能把dll或者源代码发一份,
Email:[e-mail]
QQ:419387165
谢谢

- 评论人：crab

Thu Mar 03 19:02:57 CST 2005　 　

我也是需要一份，做毕设呢，先谢了
[e-mail]

- 评论人：silverwind

Fri Feb 25 09:43:01 CST 2005　 　

能不能给我也发一份，我需要及了，谢谢
[e-mail]

- 评论人：shirleyxyj

Tue Feb 22 21:36:20 CST 2005　

呵呵，谢谢yuanlang,我收到你给我发的邮件了，马上要开始好好学习学习了：）

- 评论人：jongh

Sun Feb 20 11:00:03 CST 2005　 　

请问yuanlang，split.dll能够在VC里调用吗？如果可以的话，能否提供函数原型呢？谢谢

- 评论人：yuanlang

Thu Jan 27 17:03:04 CST 2005　

一个一个发太麻烦，在我的blog上有链接可以下载。

- 评论人：匿名

Wed Jan 26 10:09:20 CST 2005　 　

能不能给我发一份。我也想要，我的邮箱为[e-mail].万分感谢！！

- 评论人：yuanlang

Thu Jan 20 17:33:14 CST 2005　 　

我已经发Email了，各位请查收。

- 评论人：匿名

Tue Jan 11 22:00:08 CST 2005　

请问能不能给我发一份啊，多谢了！[e-mail]

- 评论人：alfred

Sat Dec 18 17:59:43 CST 2004　 　

能不能把源代码发一份,
谢谢,

我想学习一下这个东东!

- 评论人：zhangjin

Thu Dec 16 10:38:53 CST 2004　 　

能否给我一份中文分词资料，谢谢

- 评论人：匿名

Mon Dec 06 13:23:18 CST 2004　

sorry，我的信箱应该是[e-mail]，方便的话，帮我发到这个信箱，谢谢啦！

- 评论人：匿名

Wed Dec 01 15:57:10 CST 2004　

我已经被中文分词困扰了好几天了,可不可以给我发一份?[e-mail]感谢!

- 评论人：jingjingjing

Tue Nov 30 14:25:49 CST 2004　 　

我再留个qq号，282738238，好想看到你的源代码呀！拜托能不能发一个给我！谢谢啦！

- 评论人：jingjingjing

Mon Nov 29 11:17:31 CST 2004　 　

我也想要一份源代码，谢谢！我的邮箱是：[e-mail]

- 评论人：imibpig

Fri Nov 26 20:45:03 CST 2004　

关于我的源码我自己开始写的比较混乱，这几天我整理一下，然后给你们发过去。

- 评论人：fountain

Wed Nov 17 09:54:38 CST 2004　 　

我正在研究这个，有时间我们可以探讨一下，请你把你的源码发我一份，先在此谢谢你了。我的邮箱： [e-mail],         QQ:41823279

- 评论人：shirleyxyj

Mon Nov 15 21:36:07 CST 2004　 　

我也想要啊，可否把你的源码发我一份呀，谢谢了。我的邮箱： [e-mail],QQ:1963370

- 评论人：匿名

Mon Nov 01 22:50:00 CST 2004　

能不能把dll或者源代码发一份,谢谢,我想学习一下这个东东!
[e-mail]
谢谢

- 评论人：yuanlang

Mon Sep 13 16:51:50 CST 2004　

;)
你的意思是。。。？
我已经加了你的qq,有机会好好交流一下。

- 评论人：sonx

Sun Sep 12 00:10:58 CST 2004　 　

联系我吧,两个版本都可以运行了 , jsp的 lucene 构架的
php mysql 构架的  MSN:[e-mail] 
QQ 2895419