百度百科限制谷歌必应等搜索引擎抓取 保护内容免被AI训练利用
2024-11-21 【 字体:大 中 小 】

【太平洋科技快讯】近日,百度百科已开始屏蔽包括谷歌、必应等在内的多数搜索引擎的抓取权限,此举旨在防止这些搜索引擎和其他爬虫未经授权抓取其内容,用于训练人工智能模型。
根据百度百科的robots.txt文件更新显示,目前只有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他非白名单爬虫均被明确禁止访问百度百科的数据。尽管360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。
尽管百度百科采取了上述措施,但有业内人士指出,这些方法可能只能防止大部分合法的爬虫抓取,无法完全阻止那些通过特殊手段绕过限制的小型爬虫继续获取内容,用于AI训练。

猜你喜欢

反弹在震荡中反复中前进 短线不可追分化找机会


数字赋能促发展:广东财经大学实践团助力博罗县制造业数字化转型


突发!韩媒:一驻韩美军战斗机坠落 飞行员逃出获救


越秀地产(00123):土地开发中心收储暨南大学北侧地块二土地


2024年3月28日全国主要批发市场猕猴桃价格行情


直接封神的敬酒劝酒诗词,背下来过年惊艳所有人


异动快报:人民同泰(600829)9月5日11点28分触及涨停板


中国人工智能(广州)产业园项目基坑支护桩施工完成


特朗普“24小时解决乌克兰冲突”是可能的吗?


在“捧果篮的男孩”的注视下,聆听一场巴洛克主题音乐会


股票二级市场配资:高风险高回报的双刃剑?


线上杠杆炒股App:风险与机遇并存的财富游戏


2024最大十倍杠杆炒股平台:高风险高收益的双刃剑?


网络股指配资哪家好?——深度解析与风险规避指南


华夏配资网:撬动财富杠杆,稳健投资致富之路?


股票杠杆配资:高风险高收益的双刃剑,你真的准备好了吗?


好用的证券app:投资理财新纪元,你的掌上金融管家


股票金融配资:撬动财富的杠杆,亦是风险的双刃剑


股票配资温州:高杠杆下的财富游戏,风险与机遇并存


高手一万元短线炒股:用小资金撬动大收益的秘诀
