[JAVA] 웹 크롤링(selenium) 활용, 화면 자동캡처 스케줄러 모듈 개발

 

사용자 요구사항 중, 특정 서비스 화면을 자동화 요청된 시간에 따라 자동 캡처하여 스토리지에 저장하는 모듈을 개발해달라는 내용이 있어 selenium에 대한 활용 이해도를 높이기 위해 별도 모듈로 가이드 목적 모듈을 개발해보았다.

 

본 포스팅의 경우 모듈의 핵심이 되는 selenium 함수를 위주로 정리하였으므로, 파일 관리와 로그처리 그리고 스케줄러 등록 관련 내용의 설명이 필요하다면 아래 포스팅에 포함된 내용을 참고할 수 있겠다.

https://gkawjdgml.tistory.com/entry/JAVA-%EB%A0%88%EC%9D%B4%EB%8D%94-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EC%9E%90%EB%8F%99-%EC%A0%80%EC%9E%A5-%EB%AA%A8%EB%93%88

[JAVA] 레이더 이미지 자동 저장 모듈

 

이 포스팅의 output 프로젝트는 최하단에 github 링크로 확인 가능하다.

 

설명 및 주요기능, 개발 환경에 대한 내용은 작성한 ReadMe를 첨부해본다.

 

목차

---

 

 

 

프로젝트 구조

프로젝트의 구조는 아래와 같이 하였으며, 설명은 이미지에 텍스트로 남겨보았다.

 

 

 

 

 

pom.xml

아래는 selenium를 dependency한 내용을 포함한 maven빌드 설정 내용이다. 특이사항은 없다. 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>autoCapture</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>6</maven.compiler.source>
        <maven.compiler.target>6</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>2.39.0</version>
        </dependency>
    </dependencies>
</project>

 

 

 

 

Application.java

프로젝트의 실행 로직 이해를 위해 가장 먼저 메인 클래스의 코드 내용을 첨부해보았다. 큰 흐름은 내부 주석을 통해 충분히 이해 가능하다.

package com;

import com.app.ConfigManager;
import com.log.LoggerConfig;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

import java.io.File;
import java.util.Calendar;
import java.util.Timer;
import java.util.TimerTask;
import java.util.logging.Logger;

import static com.app.FileManager.deleteFile;
import static com.app.SeleniumManager.*;
import static com.log.LogCleaner.deleteOldLogs;
import static kma.comis4.uis.asps.com.qc.util.DateUtil.getCurrentDateTime;
import static kma.comis4.uis.asps.com.qc.util.DateUtil.getCurrentYyyymmdd;

public class Application {
    public static Logger logger = LoggerConfig.createLogger(Application.class.getName()); //로거(전역 사용)

    public static void main(String[] args) {
        logger.info("Application started.");
        System.setProperty("webdriver.chrome.driver", ConfigManager.get("webdriver.chrome.driver")); // ChromeDriver 경로 설정

        // 1. 메인 로직
        Timer timer = new Timer();
        timer.scheduleAtFixedRate(new TimerTask() {
            @Override
            public void run() {
                // (1) 웹 드라이버 설정부여 및 필요 변수 선언
                ChromeOptions options = new ChromeOptions();
                options.addArguments("--headless"); //브라우저 창 띄우지 않도록
                options.addArguments("--disable-gpu"); //브라우저 창 띄우지 않도록
                options.addArguments("--force-device-scale-factor=1"); //화면 배율 설정(캡처 결과 균일)
                options.addArguments("--window-size=1920,1080"); //화면 해상도 설정(캡처 결과 균일)
                WebDriver driver = new ChromeDriver(options);
                String datePath = getCurrentYyyymmdd().substring(0,6) + File.separator +  getCurrentYyyymmdd().substring(6,8) + File.separator;

                try {
                    // (2) 로그인_캡처 대상 화면 진입 전 로그인 필요
                    driver = login( driver,
                                    ConfigManager.get("login.url"),
                                    ConfigManager.get("login.username"),
                                    ConfigManager.get("login.password")
                    );

                    // (3) 로그인 완료 정보를 가지고, 화면 접속 및 캡처 로직 수행
                    takeScreenshot( driver,
                                    ConfigManager.get("screenshot.url"),
                                    ConfigManager.get("screenshot.output.dir") + datePath + getCurrentDateTime().substring(0,12)+ ".png",
                                   new By.ByCssSelector("#windprofiler_contents_wrap")
                    );
                } catch (Exception e) {
                    logger.severe("Error during scheduler run: " + e.getMessage());
                } finally {
                    if (driver != null) {
                        driver.quit();
                    }
                }
            }
        }, 0, 5 * 60 * 1000); // 0초 후 시작, 5분 간격

        // 2. 매일 정각 실행 로직 정의
        timer.scheduleAtFixedRate(new TimerTask() {
            @Override
            public void run() {
                // (1) 로그폴더 생성 및 정리
                logger.info("Daily task started.");
                logger = LoggerConfig.createLogger(Application.class.getName());
                deleteFile(ConfigManager.get("log.base.path"));
                
                // (2) 오래된 캡처파일(폴더포함) 제거
                deleteFile(ConfigManager.get("screenshot.output.dir"));
            }
        }, calculateInitialDelay(), 24 * 60 * 60 * 1000); // 정각까지의 초기 지연 후 24시간 간격

        // 3. 프로그램 종료 시 로그 추가
        Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
            public void run() {
                logger.info("Application stopped.");
            }
        }));
    }

    /**
     * <h3>정각 스케줄러 초기 지연 시간 계산 함수</h3>
     *
     * @return 다음 정각까지의 초기 지연 시간 (밀리초)
     *
     * <p>현재 시간 기준으로 다음날 자정(정각)까지 남은 시간을 계산하여 반환</p>
     */
    private static long calculateInitialDelay() {
        Calendar now = Calendar.getInstance();
        Calendar nextRun = Calendar.getInstance();

        nextRun.set(Calendar.HOUR_OF_DAY, 0);
        nextRun.set(Calendar.MINUTE, 0);
        nextRun.set(Calendar.SECOND, 0);
        nextRun.set(Calendar.MILLISECOND, 0);

        if (now.after(nextRun)) {
            nextRun.add(Calendar.DAY_OF_MONTH, 1); // 다음날 정각으로 설정
        }

        return nextRun.getTimeInMillis() - now.getTimeInMillis();
    }
}

 

 

 

 

SeleniumManager.java

selenium기능 관련 함수를 정의한 클래스이다. 마찬가지로 각 함수별 설명 주석을 포함하였다. 로딩 시간(직접 설정)을 대기하는 함수와, ajax화면의 경우 요소 로딩을 대기하는 함수, 로그인 함수, 자동 캡처 함수(원하는 영역 사이즈 조정을 포함), select 요소의 값을 재설정하는 함수를 포함하였다.

package com.app;

import com.Application;
import org.openqa.selenium.*;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.support.ui.ExpectedConditions;
import org.openqa.selenium.support.ui.Select;
import org.openqa.selenium.support.ui.WebDriverWait;

import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.File;
import java.util.List;
import java.util.logging.Logger;

import static com.app.FileManager.copyFile;
import static com.app.FileManager.saveImage;

public class SeleniumManager {
    private static final Logger logger = Application.logger;

    /**
     * <h3>로그인 처리</h3>
     * 
     * @param driver 웹 드라이버
     * @param loginUrl 로그인 페이지 url
     * @param username ID값
     * @param password PW값
     * @return WebDriver (ex.주로 로그인 처리된 웹드라이버)
     * @throws InterruptedException
     *
     * <p>해당 처리를 진행할 사전 driver 설정 등이 없으면 null로 전달</p>
     */
    public static WebDriver login(WebDriver driver, String loginUrl, String username, String password) throws InterruptedException {
        if (driver == null) { driver = new ChromeDriver(); }

        driver.get(loginUrl);

        try {
            // 로그인 정보 입력
            WebElement usernameField = driver.findElement(By.id("j_username"));
            WebElement passwordField = driver.findElement(By.id("j_password"));
            WebElement loginButton = driver.findElement(By.cssSelector("p.loginBtn > input"));

            // 기존 자동 입력값 삭제
            usernameField.clear();
            passwordField.clear();

            usernameField.sendKeys(username); // 사용자명 입력
            passwordField.sendKeys(password); // 비밀번호 입력
            loginButton.click(); // 로그인 버튼 클릭

            logger.info("Login successful.");
        } catch (NoSuchElementException e) {
            logger.severe("Login elements not found: " + e.getMessage());
            throw e;
        }

        return driver;
    }

    /**
     * <h3>화면 캡처 함수</h3>
     *
     * @param driver 웹 드라이버 객체
     * @param url 캡처할 대상 페이지 URL
     * @param outputFileName 저장할 파일 이름 및 경로
     * @param locator 캡처 대상 요소 (ex. 'null' or 'new By.ByCssSelector("#windprofiler_contents_wrap")')
     *
     * <p>locator가 null이면 전체 페이지를 캡처</p>
     * <p>locator가 지정되면 해당 요소를 중심으로 캡처 영역을 계산 및 이미지 잘라내기 처리</p>
     */
    public static void takeScreenshot(WebDriver driver, String url, String outputFileName, By locator) {
        try {
            // 타겟 URL 접속
            driver.get(url);

            if (locator != null) {
                WebDriverWait wait = new WebDriverWait(driver, 30); // 최대 30초 대기
                wait.until(ExpectedConditions.visibilityOfElementLocated(locator));
                waitUntilAjaxComplete(driver, 30); // AJAX 상태 대기
            } else {
                waitForPageLoad(driver, 30); // 전체 페이지 로드 완료 대기
            }

            File screenshot = ((TakesScreenshot) driver).getScreenshotAs(OutputType.FILE);

            if(locator != null){
                WebElement element = driver.findElement(locator);

                // 스크린샷 파일을 BufferedImage로 로드
                BufferedImage fullImg = ImageIO.read(screenshot);

                // `devicePixelRatio` 반영
                JavascriptExecutor jsExecutor = (JavascriptExecutor) driver;
                double devicePixelRatio = ((Number) jsExecutor.executeScript("return window.devicePixelRatio")).doubleValue();

                // 요소의 위치와 크기 가져오기
                Point point = element.getLocation();
                Dimension size = element.getSize();

                // JavaScript로 margin, padding, border 값 가져오기
                int marginTop = ((Number) jsExecutor.executeScript(
                        "return parseInt(window.getComputedStyle(arguments[0]).marginTop)", element)).intValue();
                int marginLeft = ((Number) jsExecutor.executeScript(
                        "return parseInt(window.getComputedStyle(arguments[0]).marginLeft)", element)).intValue();
                int paddingTop = ((Number) jsExecutor.executeScript(
                        "return parseInt(window.getComputedStyle(arguments[0]).paddingTop)", element)).intValue();
                int paddingLeft = ((Number) jsExecutor.executeScript(
                        "return parseInt(window.getComputedStyle(arguments[0]).paddingLeft)", element)).intValue();
                int borderTop = ((Number) jsExecutor.executeScript(
                        "return parseInt(window.getComputedStyle(arguments[0]).borderTopWidth)", element)).intValue();
                int borderLeft = ((Number) jsExecutor.executeScript(
                        "return parseInt(window.getComputedStyle(arguments[0]).borderLeftWidth)", element)).intValue();

                // 픽셀 보정
                int x = (int) ((point.getX() - marginLeft - borderLeft) * devicePixelRatio);
                int y = (int) ((point.getY() - marginTop - borderTop) * devicePixelRatio);
                int width = 1670;
                //int width = (int) ((size.getWidth() + marginLeft + paddingLeft + borderLeft) * devicePixelRatio);
                int height = (int) ((size.getHeight() + marginTop + paddingTop + borderTop) * devicePixelRatio);

                BufferedImage elementScreenshot = fullImg.getSubimage(
                        x, y,
                        //Math.min(width, fullImg.getWidth() - x),
                        width,
                        Math.min(height, fullImg.getHeight() - y)
                );

                // 잘라낸 이미지를 파일로 저장
                saveImage(elementScreenshot, "png", outputFileName);
            }else{
                // 파일 저장
                copyFile(screenshot, new File(outputFileName));
            }

            logger.info("Screenshot saved: " + outputFileName);
        } catch (Exception e) {
            logger.severe("Error during screenshot capture: " + e.getMessage());
            e.printStackTrace();
        }
    }

    /**
     * <h3>select요소 값 변경 함수</h3>
     *
     * @param driver 웹 드라이버 객체
     * @param url 작업 대상 링크 (ex."https://www.naver.com/")
     * @param selectElementId 대상 요소 ID (ex.["view", "altitude"])
     * @param newValue 설정 값 (ex.["120", "10000"])
     *
     * <p>조건 1. selectElementId와 newValue의 size가 같아야함</p>
     * <p>조건 2. selectElementId와 newValue의 index가 각각 매칭되어야함(ex. selectElementId[0]요소의 신규 할당 값은 newValue[0])</p>
     */
    public static void changeSelectValue(WebDriver driver, String url, List<String> selectElementId, List<String> newValue) {
        try {
            driver.get(url);

            WebDriverWait wait = new WebDriverWait(driver, 10);

            if(selectElementId.size() == newValue.size()){
                for(int i=0; i<selectElementId.size(); i++){
                    WebElement selectElement = wait.until(ExpectedConditions.presenceOfElementLocated(By.id(selectElementId.get(i))));
                    Select dropdown = new Select(selectElement);
                    dropdown.selectByValue(newValue.get(i));

                    logger.info("Select element value changed to: " + newValue.get(i));
                }
            }else{
                logger.severe("Error during method of changeSelectValue: "+"not same size of List<String> selectElementId, List<String> newValue");
            }
        } catch (NoSuchElementException e) {
            logger.severe("Select element not found: " + e.getMessage());
            throw e;
        } catch (Exception e) {
            logger.severe("Error during change select value: " + e.getMessage());
            e.printStackTrace();
        }
    }

    /**
     * <h3>페이지 로드 대기 함수</h3>
     *
     * @param driver 웹 드라이버 객체
     * @param timeoutSeconds 최대 대기 초수 (ex.30)
     *
     * <p>브라우저의 document.readyState 상태가 "complete"가 될 때까지 대기</p>
     */
    private static void waitForPageLoad(WebDriver driver, int timeoutSeconds) {
        long endTime = System.currentTimeMillis() + timeoutSeconds * 1000;

        while (System.currentTimeMillis() < endTime) {
            try {
                if ("complete".equals(((JavascriptExecutor) driver).executeScript("return document.readyState"))) {
                    return;
                }
                Thread.sleep(500); // 0.5초 대기
            } catch (Exception e) {
                logger.warning("Error during page load wait: " + e.getMessage());
            }
        }

        logger.warning("Page load timeout exceeded.");
    }

    /**
     * <h3>AJAX 상태 대기 함수</h3>
     *
     * @param driver 웹 드라이버 객체
     * @param timeoutSeconds 최대 대기 초수 (ex.30)
     *
     * <p>조건 1. jQuery(ajax)로 로드하는 요소 혹은 화면일 경우 활용</p>
     */
    private static void waitUntilAjaxComplete(WebDriver driver, int timeoutSeconds) {
        long endTime = System.currentTimeMillis() + timeoutSeconds * 1000;

        while (System.currentTimeMillis() < endTime) {
            try {
                JavascriptExecutor jsExecutor = (JavascriptExecutor) driver;
                Object ajaxComplete = jsExecutor.executeScript(
                        "return (window.jQuery != null) && (jQuery.active === 0);"
                );

                if (Boolean.TRUE.equals(ajaxComplete)) {
                    return; // AJAX 요청 완료
                }

                Thread.sleep(500); // 0.5초 대기
            } catch (Exception e) {
                logger.warning("Error during AJAX wait: " + e.getMessage());
            }
        }

        logger.warning("AJAX wait timeout exceeded.");
    }
}

 

 

 

 

실행 결과

지정한 경로에 파일이 저장되는 결과를 확인할 수 있다. 

 

 

 

 

마무리

기존 프로젝트 JDK를 따르느라 구버전 사양을 가지고 개발을 했는데, 참고 자료도 찾기 어려워지고 호환성 고려하기에도 까다로웠다. 가장 불편했던 것은 최신 버전에서는 selenium 자체 함수로 구현할 수 있는 기능을 활용 버전에서는 선언할 수 없어 길을 돌아가야했다는 부분이다.

 

가능하다면 다들 신버전을 사용하시길 ...

 

 

아래에는 모든 코드를 포함한 github 링크를 첨부하였다.

https://github.com/Hamjeonghui/autoCapture

GitHub - Hamjeonghui/autoCapture: 자동캡처