用phpQuery来做采集,非常地简单,没有头疼的正则表达式的困扰,类似JQ的选择器操作,很容易上手。
PHP代码
- <?php
- /**
- *通用列表采集类
- *版本V1.3
- *作者:JAE
- *
- */
- require_once '../phpQuery/phpQuery/phpQuery.php';
- class QueryList{
- private $pageURL;
- private $regArr = array();
- public $jsonArr = array();
- private $regRange;
- private $html;
- /************************************************
- * 参数: 页面地址 选择器数组 块选择器
- * 【选择器数组】说明:格式array("名称"=>array("选择器","类型"),…….)
- * 【类型】说明:值 "text" ,"html" ,"属性"
- *【块选择器】:指 先按照规则 选出 几个大块 ,然后再分别再在块里面 进行相关的选择
- *************************************************/
- function QueryList($pageURL,$regArr=array(),$regRange='')
- {
- $this->pageURL = $pageURL;
- //为了能获取https://
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL,$this->pageURL);
- curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
- curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
- curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
- $this->html = curl_exec($ch);
- curl_close($ch);
- if(!empty($regArr))
- {
- $this->regArr = $regArr;
- $this->regRange = $regRange;
- $this->getList();
- }
- }
- function setQuery($regArr,$regRange='')
- {
- $this->jsonArr=array();
- $this->regArr = $regArr;
- $this->regRange = $regRange;
- $this->getList();
- }
- private function getList()
- {
- &