添加爬虫协议
爬虫协议文件robots.txt,把爬虫协议上传到站点跟目录
User-agent: *
Allow: /*.html$
Allow: /usr
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jepg$
Allow: /*.gif$
Allow: /*.bmp$
Disallow: /admin/
Disallow: /install/
Disallow: /var/
Disallow: /config.inc.php
Disallow: /install.php
Sitemap:你的网站/sitemap.xml
添加推送php
在网站根目录新建一个文件夹
在文件夹新建一个 PHP 文件
填写网站 sitemap.xml地址和百度的推送接口
把文件地址添加到宝塔定时任务
选择访问 URL,自定义执行时间
<?php
header('Content-Type:text/html;charset=utf-8');
$xmldata =file_get_contents("https://自己网站/sitemap.xml");
$xmlstring = simplexml_load_string($xmldata,'SimpleXMLElement',LIBXML_NOCDATA);
$value_array = json_decode(json_encode($xmlstring),true);
$url = [];
for ($i =0;$i < count($value_array['url']);$i++){
echo $value_array['url'][$i]['loc']."<br/>";
$url[]= $value_array['url'][$i]['loc'];
}
$api ='百度站长的推送接口';
$ch = curl_init();
$options = array(
CURLOPT_URL => $api,
CURLOPT_POST => true,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_POSTFIELDS => implode("\n",$url),
CURLOPT_HTTPHEADER => array('Content-Type:text/plain'),
);
curl_setopt_array($ch, $options);
$result =curl_exec($ch);
echo $result;
?>
成功返回
{“remain”: 今日剩余数,”success”: 推送成功数}
版权属于:晨狐博客
本文链接:https://www.liuzhuai.com/archives/10.html
转载时须注明出处及本声明