基于中文分词技术的文本相似度检测研究

发布时间:2020-10-02 18:57:20 文章作者:知网小编 文章来源:本站首发

style="text-align: center;">基于中文分词技术的文本相似度检测研究

[鎽樿]瀵规湰绉戠敓鐨勬瘯涓氶棶棰樿繘琛岀被浼兼€ц鏂囩殑妫€鏌ュ緢闅撅紝娉勯湶寰堝绛夐棶棰橈紝浣跨敤鑷劧璇█澶勭悊鍜岄泦鍚堣繍绠楃殑鏂规硶锛岃绠楅€夋嫨闂鐨勭被浼煎害锛屽湪闃堝€?9%鐨勬儏鍐典笅寰楀埌骞冲潎绫讳技搴?8%鐨勭粨鏋溿€傝繖绉嶆柟娉曞悓鏍烽€傜敤浜庨€夋嫨涓嶅悓涓撲笟闂鍦ㄧ箒閲嶇殑宸ヤ綔涓皟鏌ワ紝鍏锋湁杈冨ソ鐨勫疄闄呭簲鐢ㄤ环鍊笺€傜幇鍦紝鏈鐢熸瘯涓氶棶棰樺瓨鍦ㄧ殑閲嶅ぇ闂鐜拌薄涓€鑸槸鐢ㄤ汉宸ユ柟寮忔潵杩涜绫讳技鎬ф鏌ワ紝鏍规嵁璁板繂鍜屾枃浠剁殑妫€绱㈡潵鍖哄埆閲嶅ぇ闂銆? 涓嶄粎涓庢枃瀛椾笂鐩镐技鐨勯棶棰樻病鏈夊叧绯伙紝杩樼己灏戦€夋嫨涓庝富棰樼浉浼肩殑宸ヤ綔鐨勬瘮杈冮儴鍒嗐€傝拫鍕囬潚绛夊垎鏋愪簡鐜版湁鏂囩尞鐩镐技妫€鏌ョ郴缁熷簲鐢ㄧ殑鏈夋晥鎬1]锛涘垬閿愮瓑閲囩敤Lucene妗嗘灦鎶€鏈瀛︿綅璁烘枃鐨勫叏鏂囨瀬鎬ф绱2]锛涘紶娴疯吘绛夌敤涓や釜鏂囨湰鍚戦噺鐨勪綑寮﹀€艰绠楃浉浼煎害锛屽鐢靛瓙宸ヤ綔鐨勮皟鏌ラ噸浣淸3]锛涘紶鎸浗绛夌敤PLSA锛圥robabil锛変娇鐢╥sticLatentSemanttic锛夈€侫nalysis锛屾鐜囨綔鍦ㄦ剰涔夊垎鏋愶級鏂规硶浠庢剰涔夎搴﹀垎鏋愭瘯涓氳鏂囬鐩殑鐩镐技鎬с€傞粍鑾夌瓑浣跨敤鏈€澶ч€氱敤搴忓垪绠楁硶澶勭悊姣曚笟璁烘枃涓婚鐨勭浉浼兼€с€? 姝f枃閲囩敤鑷劧璇█澶勭悊鐨勪腑鏂囧垎璇嶆妧鏈痆6]锛屾渶鍚庨€夋嫨涓婚浜掔浉姣旇緝绫讳技搴︺€?鐮旂┒鏂规硶涓枃鍒嗚瘝绠楁硶涓昏鏈夊熀浜庡瓧鍏哥殑绠楁硶鍜屽熀浜庣粺璁$殑绠楁硶浠ュ強缁撳悎鍓嶇殑涓ょ绠楁硶[7]銆? 棣栧厛瀵规墍鏈夌殑姣曚笟闂鍒╃敤jieba鍒嗚瘝鎶€鏈繘琛屽垎璇嶅鐞嗐€傚ぇ閮ㄥ垎杩囩▼閫氳繃jieba鍒嗚瘝鎶€鏈紝鍒╃敤鑷畾涔夌殑绫讳技搴︽瘮杈冨嚱鏁帮紝瀹炵幇绫讳技搴︽祴瀹氱殑缁撴灉銆侸ieba鍒嗚瘝鏄渶甯哥敤鐨勬柟娉曪紝杩欎釜鎶€鏈寘鍚潃3绉嶅垎璇嶆ā寮忋€傚浜庢湭娉ㄥ唽鐨勮瘝璇噰鐢℉MM妯″紡銆傛偍鍙互浣跨敤Viterbi绠楁硶瀵瑰崟璇嶅拰璇嶅吀杩涜鑷畾涔夋坊鍔犮€傚叿浣撶殑宸ヤ綔娴佺▼濡備笅銆傦紙a锛夎鍙栨暟鎹鍏xcel姣曚笟璁捐鐨勯€夋嫨鏂囦欢锛岃鍙栨暟鎹€? 锛坆锛夌敤鎴疯瘝鍏哥殑瀵煎叆锛屼笓涓氭€х殑璇嶆眹闈炲父楂橈紝鍦ㄥ垎璇嶅墠闇€瑕佹暣鐞嗕笓涓氱敤璇紝浣滀负鐢ㄦ埛璇嶅吀鏉ヤ娇鐢ㄣ€傦紙c锛塲ieba鍒嗚瘝鍦ㄤ娇鐢╦ieba鍒嗚瘝涔嬪墠浣跨敤銆傛爣鍑唀ba.load_瀵煎叆鐢ㄦ埛璇嶅吀鐨勬柟娉曘€? 浣跨敤绮剧‘妯″紡閫夋嫨jieba鍒嗚瘝銆傦紙d锛夊簾璇嶆槸娌℃湁鎰忎箟鐨勫崟璇嶏紝鍑虹幇棰戠巼寰堥珮锛屼笉鍘绘帀鐨勮瘽浼氬奖鍝嶄笅涓€涓伐浣滅殑姝g‘鎬с€傚洜姝わ紝蹇呴』鍒犻櫎涓ょ鍗曡瘝銆備负浜嗚瑙変笂鐪嬪埌鍘婚櫎搴熻瘝鐨勬晥鏋滐紝鍥?鏄娇鐢ㄨ瘝浜戠殑鎶€鏈紝姣旇緝闄ゅ幓搴熻瘝鍓嶅悗鐨勬晥鏋滐紝鍥撅紙b锛夌殑鍏抽敭瀛楁瘮鍥撅紙a锛夋洿涓撲笟锛屽彉寰楁洿绐佸嚭銆? 2瀹為獙鍜岀粨鏋滃垎鏋?.1鏁版嵁闆嗘湰璇鹃閲囩敤鐨勬暟鎹泦鍖呭惈涓や釜閮ㄥ垎锛岀涓€閮ㄥ垎鏁版嵁鏄?30涓绠楁満绫讳笓涓氭湰绉戠敓鐨勭敵鎶ラ€夋嫨锛屼粠鏈姣曚笟璁烘枃绠$悊绯荤粺瀵煎嚭锛屽叾涓婚鏄蒋浠禔PP寮€鍙戙€佺鐞嗙郴缁熷紑鍙戙€佺‖浠跺寘鎷悇绉嶆柟鍚戯紝渚嬪纭欢璁捐銆佺綉缁滆璁°€傛瘡娆¢€夋嫨Excel鏂囦欢鐨勪竴琛岋紝閮芥湁璇鹃銆佸憟鎶ヤ汉銆佺敵鎶ユ椂闂淬€佹寚瀵艰€佸笀銆佸鏌ユ槸鍚﹂€氳繃绛夊瓧娈点€傜浜岄儴鍒嗙殑鏁版嵁閫氳繃鏉ヨ嚜鐭ヨ瘑缃戠殑妫€绱㈡柟娉曪紝鍒嗗埆閫氳繃鈥滅綉绔檃nd鐮旂┒鈥濆拰鈥滅綉绔檃nd搴旂敤and鐮旂┒鈥濆悇妫€绱紝涓嬭浇100绡囨枃鐚悕浣滀负姣旇緝瀹為獙鐨勬暟鎹泦锛屽垎鍒负鈥滅煡缃戞暟鎹?鈥濆拰鈥滅煡缃戞暟鎹?鈥濊繖鏍峰懡鍚嶃€? 2.2瀹為獙鍜屽垎鏋愬浜庘€滅煡缃戞暟鎹?鈥濆拰鈥滅煡缃戞暟鎹?鈥濓紝鍒╃敤鏈棰樼殑绠楁硶鍒嗗埆璁$畻鍏跺钩鍧囩被浼煎害34.8%銆?5.1%锛岄獙璇佹湰璇鹃鐨勭畻娉曟湁鏁堛€傛牴鎹被浼兼€ф娴嬫搷浣滅殑涓€鑸瀹氾紝绫讳技搴﹂槇鍊间负29%銆備负浜嗘瘮杈冩竻妤氬湴绀哄嚭

瀹為獙缁撴灉锛屽浘3浣跨敤100涓€夋嫨闂鏉ユ鏌ラ噸閲忥紝妯潗鏍囨槸閫夋嫨鍙凤紝绾佃酱鏄被浼煎害鐨勬瘮渚嬶紝骞朵笖鐢ㄦ暎鐐瑰浘鏍囪瓒呰繃29%绫讳技搴︾殑閫夋嫨闂銆傜被浼煎害鏈€楂樼殑鏄偣锛?5,25锛夛紝鍙风爜45鍜屽彿鐮?5涓や釜閫夋嫨闂鐨勭被浼煎害鎺ヨ繎70%锛岀偣锛?3,17锛夌殑绫讳技搴︿负60%銆? 鍦ㄦ瘯涓氳璁$殑涓€閮ㄥ垎鍜屼竴浜涘叾浠栭棶棰橀噸鍙犵殑鎯呭喌涓嬶紝濡傚浘3鎵€绀猴紝涓句袱涓緥瀛愯繘琛岃鏄庛€傚浘3A绀哄嚭浜嗏€滃熀浜嶫AVAWEB鐨勮嫳璇崟璇嶅涔犵綉绔欌€濆拰鍏朵粬3涓€夋嫨椤圭殑绫讳技鎬э紝涓庘€滃熀浜嶫avaWeb鐨勫涔犺祫婧愬叡浜綉绔欌€濈殑绫讳技搴︽渶楂樸€? 鍥?锛坆锛夎〃绀轰笌鈥淎ndroid鍩虹鐨勬按鏋滈攢鍞簲鐢ㄢ€濈浉浼笺€傗€淎ndroid鍩虹鐨勯矞鑺遍攢鍞簲鐢ㄧ▼搴忊€濊繖涓爣棰樻槸鏈€楂樼殑銆傛湰鏁版嵁闆嗕腑鐨?30鏉℃瘯涓氳璁$殑閫夋嫨闂锛屽湪绫讳技搴﹁秴杩?9%鐨勬儏鍐典笅锛屽钩鍧?8%锛屼笌鐭ョ綉鐨?涓疄楠岀浉姣旓紝濡傚浘4鎵€绀猴紝鏈暟鎹泦鍜岀煡缃戞暟鎹殑绫讳技搴﹀彲浠ユ瘮杈冿紝鍦ㄩ珮鐨勯儴鍒嗘湁澶氫釜鍘熷洜锛屼緥濡傛瘯涓氶棶棰樼殑鍏抽敭瀛楀緢灏戯紝骞冲潎涓暟鍙湁3.93涓瓑銆? 3缁撹鏈棰橀噰鐢ㄨ嚜鐒惰瑷€澶勭悊鎶€鏈紝璋冩煡鏈鐢熺殑姣曚笟璁捐涓婚锛屾牴鎹甖瀛楀垎璇嶆妧鏈紝浠ョ綉缁滄暟鎹簱浣滀负鍩哄噯鏁版嵁闆嗘潵纭繚璇ョ畻娉曠殑鏈夋晥鎬х殑鎯呭喌涓嬶紝璋冩煡430鏉¤绠楁満绫讳笓涓氱殑鏈鐢熺殑姣曚笟闂锛岀‘瀹氶槇褰撴暟鍊间负29%鏃讹紝鑾峰緱骞冲潎鐩镐技搴?8%鐨勫疄楠岀粨鏋溿€傝繖绉嶆柟娉曞悓鏍烽€傜敤浜庨€夋嫨鍏朵粬涓撲笟闂鍦ㄧ箒閲嶇殑宸ヤ綔涓皟鏌ワ紝鍏锋湁涓€瀹氱殑瀹炵敤浠峰€笺€


推荐阅读,更多相关内容:

学术网论文查重是什么意思-学术网论文查重原理

知网查重原理什么原理

本专科知网论文查重查参考文献吗?

安心的论文检测入口

怎么分享论文查重平台? 免费查论文的网站分享

知网查重抄袭率超标有哪一个办法

广东体育职业技术学院专科论文查重要求及重复率 广东体育职业技术学院专科录取分数线一

知网查重中的表格可以转换成图片吗?

为什么有的知网期刊毕业论文查重检测报告仅有两样?

学术不端查重的最新原理有哪些?

辽阳职业技术学院本科论文查重要求及重复率 辽阳职业技术学院对口本科学校一

知网查重入口本专科大学生论文检测

英文论文怎么查重和降重 论文系统是怎么查重的

论文引大学生论文联合对比库用怎么标注符号应用-

中国知网查重入口论文检测系统入口的优点

潍坊医学院专科论文查重要求及重复率 潍坊医学院本科论文查重率一

浙江医学高等专科学校专科论文查重要求及重复率 浙江医学高等专科学校(专科)

本专科毕业检测系统的范畴

知网查重都查哪些部分? 知网查重能查到网络资源吗

哪里能验证知网查重的是否真的

学术不端网毕业论文论文检测报告文档一共有几份?

硕士生知网论文如何查重? 硕士生论文都会上传知网吗

知网查重入口检测图表里的文字会查重吗

中国知网重复率超标

成都纺织高等专科学校专科论文查重要求及重复率 成都纺织高等专科学校专科分数线