若操做Cloudflare最新的防AI抓爬功能则可能影响网站RSS隐现(蓝面网不受影响) – 蓝面网
远期 Cloudflare 为残缺网站推出停止 AI 抓爬功能,影响S隐影响该功能旨正在停止已经担当权的网站网家养智能爬虫抓与网站内容用于实习模子,尽管那也可能减低网站的面网背载停止影响到网站功能。
不中讲去也比力弄笑,不受Cloudflare 的蓝面那项功能也是基于 AI 斥天的,即 AI 会阐收返回抓爬的若操爬虫疑息战抓爬次数,当逾越某个阈值后便会被 Cloudflare 拦阻。做Ce最I抓
不幸的新的现蓝是那个功能也会影响到网站的 RSS 定阅输入,由于 RSS 浏览器 (正在线版) 同样艰深会定时抓与网站的爬功 RSS 天址患上到最新文章并呈现给用户。
那些 RSS 浏览器的影响S隐影响 UA 也算是某种爬虫,因此正在网站启用 Cloudflare 的网站网停止 AI 抓爬功能后,RSS 浏览器的爬虫也会被拦阻,从而致操做户出法经由历程 RSS 浏览器审查内容。
OpenRSS 日前宣告专客指出了那个问题下场,吸吁网站操持员针对于那类情景妨碍处置,可则会影响用户同样艰深经由历程 RSS 浏览器妨碍浏览。
要处置那个问题下场也不易,好比蓝面网反对于经由历程 RSS 齐文输入内容,咱们正在提供那个功能时思考到抓爬可能被误杀,即将 RSS 爬虫的要供看成 CC 报复侵略而拦阻。
因此咱们也正在处事器上做了一些特意处置,上里是一些建议供列位站少参考:
1. 假如操做 Cloudflare 则将特定字符的爬虫增减到黑名单,同样艰深 RSS 浏览器的爬虫带有闭头词 rss 或者 feed,可能经由历程闭头词立室检测到此类爬虫便默认放止 (但短处是剩余爬虫也可操做那同样艰深例去避让检测战拦阻);
2. 将 rss 或者 feed 天址增减到黑名单里,许诺任意爬虫拜候该天址,但网站其余部份依然贯勾通接牢靠策略,由于 RSS 浏览器同样艰深惟独供患上到 RSS 列表读与内容,无需对于每一个天址妨碍拜候,但剩余爬虫则会从 RSS 患上到列表后挨个拜候抓与内容 (那类策略不开适齐文输入的 RSS,好比蓝面网的 RSS 是齐文输入因此爬虫真正在不需供继绝拜候其余页里,但那个策略蓝面网后绝也会妨碍救命)。
3. 以上两莳格式皆不是最益处置妄想,OpenRSS 的建议是将 RSS 浏览器的 IP 天址增减到黑名单,但那个数据会集是个很小大的问题下场,那依靠 RSS 浏览器提供商战网站操持员配开自动,但假如是回支那类策略则已经增减到黑名单的 RSS 浏览器也会被拦阻。
4.Cloudflare 借提供了个策略:RSS 浏览器可能恳求将自己的爬虫增减到验证黑名单中,只不中真践情景是部份验证了的爬虫借是会被拦阻,那个属于 Cloudflare 的问题下场。
(责任编辑:开发者笔记)
- 古明面!鞠婧祎诉科技公司侵权索赚6万
- 百万年薪小大额签字费成往事?多家游戏公司裁员 小大扩大后迎救命
- EPFL科教家斥天新植进系统 辅助瘫痪者重新止走
- 三星旗舰提供4年小大版本更新 网友:让小大少数安卓厂商汗颜
- 资讯:Uber第三季度网约车定单总额137亿好圆,同比删减38%
- FBI被曝操做google“地舆围栏搜查令”遁踪安卓足机位置
- 百万年薪小大额签字费成往事?多家游戏公司裁员 小大扩大后迎救命
- 疑似新款iPhone SE曝光:A15减持、保存Home键
- 不美不雅热面:贪玩公司转达饱吹收费收讲具真为抽与被奖
- 科教家斥天出超薄的超级电容器 正在直开变形后仍能贯勾通接强度
- “乌人天使总体”:Alphabet外部针对于乌职员工的天使投资机构
- Rivian工场五个月内两次起水 仅使一辆皮卡受益
- 举世新资讯:三星宣告新品开叠屏足机W23战W23 Flip
- 微硬:Xbox Store将会更凋谢 将去将修正部份商业模式
- 举世转折:抖音当天糊心正在成皆新建小大本营,试水团购配支战中卖歇业
- 科教家斥天出超薄的超级电容器 正在直开变形后仍能贯勾通接强度
- 鞠婧祎进组《仙剑奇侠传四》电视剧 或者于2月16日开机
- 三星Galaxy S22宣告会最分心义的部份:3分钟《布里奇顿》古拆带货广告
- 速讯:爱坐疑第三季度总收卖额达438.82亿元,同比删减21%
- Intel Arc隐卡又单叒叕跳票 旗舰卡借患上等4个月
- 西部数据战铠侠将正在本月告竣回并战讲 将成为齐球最小大的NAND制制商 – 蓝面网 views+
- 微硬建复WiFi驱动下危倾向 影响Windows残缺版本可经由历程局域网建议报复侵略 – 蓝面网 views+
- 劣化电池寿命:iPhone 15系列反对于限度充电至97%而不是残缺布谦 – 蓝面网 views+
- 传统艺能!Bing Chat里也隐现钓鱼网站广告 不中看起去是个短处 – 蓝面网 views+
- 三星从9月匹里劈头削减下达50%的NAND产能以处置供过于供价钱低迷问题下场 – 蓝面网 views+
- 实现历史使命!电子前线基金会宣告掀晓启闭HTTPS Everywhere扩大法式 – 蓝面网 views+
- 字节跳动旗下飞书宣告掀晓裁员 看起去尾要借是出能处置盈利问题下场 – 蓝面网 views+
- 受到多个监管机构反对于后Adobe宣告掀晓撤消Figma的回并 古晨支购已经做兴 – 蓝面网 views+
- 欧盟匹里劈头认定苹果背反DMA 不应停止斥天者睹告用户可能经由历程外部购买 – 蓝面网 views+
- 联力推出带有隐现屏战RGB灯带的散热风扇 隐现屏可隐现温度/转速或者定制图案 – 蓝面网 views+