[PHP] CURL 홈페이지 파싱, 멀티

 

홈페이지 파싱에 관한 이야기를 해보려한다.

사내 유지보수용 사이트를 구축중인데 파싱할일이 상당히 많다.

단일 홈페이지 파싱을 할땐 Curl을 아래와 같이 사용했다

 

<?php
function GetData($Protocol,$Domain,$Data){
    $Curl = curl_init();
    curl_setopt ($Curl, CURLOPT_URL,$Protocol."://".$Domain); // 파싱할 Url 주소이다
    curl_setopt ($Curl, CURLOPT_SSL_VERIFYPEER, FALSE); 
    curl_setopt($Curl, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)'); // 서버에 보여줄 UserAgent 정보이다
    curl_setopt ($Curl, CURLOPT_SSLVERSION,4); // SSL 버전
    curl_setopt ($Curl, CURLOPT_HEADER, 0); 
    curl_setopt ($Curl, CURLOPT_POST, 1); // 값을 넘겨줄지
    curl_setopt ($Curl, CURLOPT_POSTFIELDS, "".$Data.""); // Get방식처럼 데이터를 넘겨준다 
    curl_setopt ($Curl, CURLOPT_TIMEOUT, 30); 
    curl_setopt ($Curl, CURLOPT_RETURNTRANSFER, 1); 
    $result = curl_exec ($Curl);
    return $result;
}
?>

 

그런데 여러 홈페이지를 파싱하다보니 속도가 너무 느린게 흠이였다

그래서 구글링으로 찾아본 결과

 

<?php
function multi_url( $urls, $timeout = 3 ){
        $mh = curl_multi_init();
        $conn = array();
        foreach( $urls as $i => $url) {
            $conn[$i] = curl_init( $url );
            curl_setopt( $conn[$i], CURLOPT_RETURNTRANSFER, true);
            curl_setopt( $conn[$i], CURLOPT_SSL_VERIFYPEER, false );
            curl_setopt( $conn[$i], CURLOPT_SSL_VERIFYHOST, false );
            curl_setopt( $conn[$i], CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.0.3705; .NET CLR 1.1.4322)');
            curl_setopt ( $conn[$i], CURLOPT_SSLVERSION,4); 
 
            if ( $timeout ){
              curl_setopt( $conn[$i], CURLOPT_TIMEOUT, $timeout );
            }
            curl_multi_add_handle( $mh, $conn[$i] );
        }
        $health = null;
 
        do {
            usleep( 10000 );
            $mrc = curl_multi_exec( $mh, $health );
        } while( $health > 0 );
        $res = array();
        foreach( $urls as $i => $url ){
            $res[] = curl_multi_getcontent( $conn[$i] );
            curl_multi_remove_handle( $mh, $conn[$i] );
        }
        
        curl_multi_close($mh);
        return $res;
}
?>

 

해당 소스로 적용결과 적은건에서는 큰 차이는 없으나

약 100개의 사이트를 파싱하는 속도는 엄청난 차이를 가져왔다

100개의 사이트를 파싱하는데 약 15초정도 소요가 되는것으로 보인다

행-복!