基于Scrapy框架的分布式网络爬虫系统设计与实现
周毅 李威 何金 程蕾 柳璐 摘 要:针对传统单机网络爬虫抓取效率低、稳定性差、数据量少等问题,文章利用Scrapy框架结合Redis技术,对传统网络爬虫框架进行改进和优化,设计出了分布式非结构化的网络爬虫系统,使...
周毅 李威 何金 程蕾 柳璐 摘 要:针对传统单机网络爬虫抓取效率低、稳定性差、数据量少等问题,文章利用Scrapy框架结合Redis技术,对传统网络爬虫框架进行改进和优化,设计出了分布式非结构化的网络爬虫系统,使...
向九松 樊士迪 摘 要:域名服务是因特网最基本的网络服务之一,大部分CDN需要依赖DNS来实现内容调度,域名解析的准确程度和响应速度对整个网络服务质量而言非常重要。通过分析当前传统CDN调度存在的不足,结合谷歌等公司提出...
陈俊侨 汪晓军 摘 要:针对传统PID控制方法响应速度慢、鲁棒性差的缺点,文章提出基于自抗扰的双电机同步驱动电动缸的控制策略。采用交叉耦合控制器以保证双电机转速同步的性能;设计作用于位置环的自抗扰控制器,利用扩张状态观测...
贡琳慧 曹阳 夏斌 摘 要:光伏组件发热会降低组件发电效率,因此有必要对不同对流换热环境下PV板的热行为进行分析。研究建立了精细的PV板-环境模型,分别包括玻璃、EVA粘结层、电池层、背板和空气,并基于仿真软件的太阳加...
摘 要:传统的相位检测主要依靠模拟电路实现,响应速度很快,但精度不高。为了解决相位检测器因对环境较为敏感而影响其检测精度的问题,提出一种基于FPGA的相位检测系统。该系统由模拟电路和主控芯片FPGA组成,将模拟电路响应速度快...
摘 要:文章基于Klein和Theilacker提出的倾斜面平均辐照度计算方法建立数学模型,利用计算机语言编程完成算法的软件实现,对我国部分地区的阵列面辐照量、全年最佳倾角、不同时段最佳倾角等进行计算,通过与前人研究结果及成...
许智敏 施玲玲 肖珊 郭雁瑶 邹嘉书 摘 要:针对大量阅读者的阅读能力制约着其阅读效果的难题提出了一种基于机器学习的馆内行为模式分析方法。首先,研究了一种“宏-微”复合视觉成像方法及工作原理;其次,研究了基于图像特...
摘 要:数字化彻底解决各种不方便,然而没有摆脱采样损伤导致冗余爆炸式膨胀。由于理解模式不一样,计算机跟生命体凭借算法进行对接存在难以克服的局限性。从自然智能到人工智能的缺失环节,适合选择物理学层面和生物学层面搜索答案。围绕天地人...
姚冰莹 杨薇 陈坚强 牛婷婷 摘 要:针对肝病早期的病理特征不够明显容易出现漏诊的问题以及引入噪声的肝脏CT图像容易导致疾病的误诊,提出了一种基于优化的随机森林的肝脏病变识别方法。首先通过PNet图像增强网络,...
李秀芹 张慢丽 李琳 摘 要:为辅助医师诊断患者是否患有颅内出血,迅速定位出血病灶的大体位置,提出以EfficientNet网络为基础的模型,使用群组归一化技术改进EfficientNet,...