An Improved Focused Crawler: Using Web Page Classification and Link Priority Evaluation
المؤلفون المشاركون
Lu, Houqing
Zhan, Donghui
Zhou, Lei
He, Dengchao
المصدر
Mathematical Problems in Engineering
العدد
المجلد 2016، العدد 2016 (31 ديسمبر/كانون الأول 2016)، ص ص. 1-10، 10ص.
الناشر
Hindawi Publishing Corporation
تاريخ النشر
2016-05-19
دولة النشر
مصر
عدد الصفحات
10
التخصصات الرئيسية
الملخص EN
A focused crawler is topic-specific and aims selectively to collect web pages that are relevant to a given topic from the Internet.
However, the performance of the current focused crawling can easily suffer the impact of the environments of web pages and multiple topic web pages.
In the crawling process, a highly relevant region may be ignored owing to the low overall relevance of that page, and anchor text or link-context may misguide crawlers.
In order to solve these problems, this paper proposes a new focused crawler.
First, we build a web page classifier based on improved term weighting approach (ITFIDF), in order to gain highly relevant web pages.
In addition, this paper introduces an evaluation approach of the link, link priority evaluation (LPE), which combines web page content block partition algorithm and the strategy of joint feature evaluation (JFE), to better judge the relevance between URLs on the web page and the given topic.
The experimental results demonstrate that the classifier using ITFIDF outperforms TFIDF, and our focused crawler is superior to other focused crawlers based on breadth-first, best-first, anchor text only, link-context only, and content block partition in terms of harvest rate and target recall.
In conclusion, our methods are significant and effective for focused crawler.
نمط استشهاد جمعية علماء النفس الأمريكية (APA)
Lu, Houqing& Zhan, Donghui& Zhou, Lei& He, Dengchao. 2016. An Improved Focused Crawler: Using Web Page Classification and Link Priority Evaluation. Mathematical Problems in Engineering،Vol. 2016, no. 2016, pp.1-10.
https://search.emarefa.net/detail/BIM-1112450
نمط استشهاد الجمعية الأمريكية للغات الحديثة (MLA)
Lu, Houqing…[et al.]. An Improved Focused Crawler: Using Web Page Classification and Link Priority Evaluation. Mathematical Problems in Engineering No. 2016 (2016), pp.1-10.
https://search.emarefa.net/detail/BIM-1112450
نمط استشهاد الجمعية الطبية الأمريكية (AMA)
Lu, Houqing& Zhan, Donghui& Zhou, Lei& He, Dengchao. An Improved Focused Crawler: Using Web Page Classification and Link Priority Evaluation. Mathematical Problems in Engineering. 2016. Vol. 2016, no. 2016, pp.1-10.
https://search.emarefa.net/detail/BIM-1112450
نوع البيانات
مقالات
لغة النص
الإنجليزية
الملاحظات
Includes bibliographical references
رقم السجل
BIM-1112450
قاعدة معامل التأثير والاستشهادات المرجعية العربي "ارسيف Arcif"
أضخم قاعدة بيانات عربية للاستشهادات المرجعية للمجلات العلمية المحكمة الصادرة في العالم العربي
تقوم هذه الخدمة بالتحقق من التشابه أو الانتحال في الأبحاث والمقالات العلمية والأطروحات الجامعية والكتب والأبحاث باللغة العربية، وتحديد درجة التشابه أو أصالة الأعمال البحثية وحماية ملكيتها الفكرية. تعرف اكثر