curl的并发机制实现php批量网络请求



curl的并发机制实现php批量网络请求

有一批玩家的ip地址,需要转换为国家信息

应用思路:简单通过网站的公共服务接口查询ip对应的国家信息,但是服务没有批量接口

解决方案:既然对方没有批量接口,那只能本地批量调用对方的接口,简单的方法,通过curl的批处理机制实现

代码如下:

 

[php] view plain copy

  1. <?php
  2. $ip_list_str = file_get_contents(“./ip_list_tmp.txt”);
  3. $ip_list = explode(“\n”, $ip_list_str);
  4. $mh = curl_multi_init();
  5. foreach($ip_list as $ip)
  6. {
  7.         $url = ”http://www.geoplugin.net/json.gp?ip=”.$ip;
  8.         $conn[$ip] = curl_init();
  9.         curl_setopt ( $conn[$ip] , CURLOPT_URL, $url);
  10.         curl_setopt ( $conn[$ip] , CURLOPT_HEADER , 0 ) ;
  11.         curl_setopt ( $conn[$ip], CURLOPT_CONNECTTIMEOUT,60);
  12.         curl_setopt ( $conn[$ip], CURLOPT_RETURNTRANSFER,true);
  13.         curl_multi_add_handle ($mh, $conn[$ip]);
  14. }
  15. do {
  16.         curl_multi_exec($mh,$active);
  17. } while ($active);
  18. foreach($ip_list as $ip)
  19. {
  20.         $data = curl_multi_getcontent($conn[$ip]);
  21.         $country_info = json_decode($data, true);
  22.         var_dump($country_info);
  23. }
  24. foreach($ip_list as $ip)
  25. {
  26.         curl_multi_remove_handle($mh,$conn[$ip]);
  27.         curl_close($conn[$ip]);
  28. }
  29. curl_multi_close($mh);
  30. ?>

备注:这个网址有频率限制,访问太频繁会被直接屏蔽