WIGOMON

NIPA 서비스에 적용한 slack bot과 큰 차이는 없지만 자사 서버가 아닌 점을 고려해 가볍게 만들기 위해 서비스 체크 시 DB에 데이터를 요청하지 않고 관리용 웹에 업로드 되는 특정 데이터를 지속적으로 조회하면서 서비스의 정상 동작을 확인했다.

URL url = new URL(dataUrl);
HttpURLConnection connection = (HttpURLConnection) url.openConnection();
connection.setDefaultUseCaches(false);
connection.setDoInput(true); // 서버에서 읽기 모드 지정
connection.setDoOutput(true); // 서버로 쓰기 모드 지정
connection.setRequestMethod("POST");

connection.setRequestProperty("content-type", "application/x-www-form-urlencoded");
connection.setRequestProperty("Cookie", session);

try ( OutputStreamWriter outStream = new OutputStreamWriter(connection.getOutputStream(), StandardCharsets.UTF_8);
      PrintWriter writer = new PrintWriter(outStream)) {
    String buffer = "eKey=E214";
    writer.write(buffer);
    writer.flush();
}


try (InputStreamReader tmp = new InputStreamReader(connection.getInputStream(), StandardCharsets.UTF_8);
      BufferedReader reader = new BufferedReader(tmp)) {

    StringBuilder builder = new StringBuilder();
    String str;
    while ((str = reader.readLine()) != null) {
        builder.append(str + "\n");
    }
    data = builder.toString();

}

해당 웹 서버는 세션이 필요했기 때문에 요청시마다 새로운 세션을 할당해 데이터를 조회했다.

private String getSession() {
        String session = "";

        try {
            CookieManager cookieManager = new CookieManager();
            CookieHandler.setDefault(cookieManager);

            URL url = new URL(loginUrl);

            HttpURLConnection connection = (HttpURLConnection) url.openConnection();

            connection.setDefaultUseCaches(false);
            connection.setDoInput(true); // 서버에서 읽기 모드 지정
            connection.setDoOutput(true); // 서버로 쓰기 모드 지정
            connection.setRequestMethod("POST");

            connection.setRequestProperty("content-type", "application/x-www-form-urlencoded");

            try (OutputStreamWriter outStream = new OutputStreamWriter(connection.getOutputStream(), StandardCharsets.UTF_8);
                    PrintWriter writer = new PrintWriter(outStream)) {
                String buffer = "a_username" + "=" + id + "&" +
                        "a_password" + "=" + password + "&";
                writer.write(buffer);
                writer.flush();

            }


            connection.getContent();

            List<HttpCookie> cookies = cookieManager.getCookieStore().getCookies();
            for (HttpCookie cookie : cookies) {
                if (cookie.toString().contains("JSESSIONID")) {
                    session = cookie.toString();
                }
            }


        } catch (IOException e) {
            return session;
        }

        return session;
    }

이렇게 조회하는 데이터는 wigomon 서비스에서 데이터 처리 후 변경되는 cdc number이며 서비스가 정상적으로 동작한다면 최소 1시간에 한번은 새로운 값으로 변경된다.

그래서 해당 slack bot은 한시간에 한번씩 데이터를 조회하고 이전에 조회한 값과 새로 조회한 값이 같으면 서비스에 문제가 있다고 판단하여 관리자에게 메세지를 보낸다.

private void job() {
    logger.debug("Check last CDN number");

    String lastCdcNo =  new DataReader().getLastCdcNo();

    if (lastCdcNo.equals(this.lastCdcNo)) {
        logger.debug("Service has problems");
        slackBot.sendMentionedMessageToChannel("서비스에 문제가 발생했습니다.");
        errorFlag = true;
        cycleCount = 0;

        if (delayHour < delayHourLimit) {
            delayHour++;
            slackBot.sendMessageToChannel("서비스 체크 딜레이를 늦춥니다. (현재 " + delayHour + "시간)");
        }

    } else if (errorFlag) {
        slackBot.sendMentionedMessageToChannel("서비스가 정상화 됐습니다.");
        errorFlag = false;
        delayHour = baseDelayHour;
    }

    this.lastCdcNo = lastCdcNo;
}

서비스에 문제가 지속적으로 발생하여 장시간 동작하지 않을 때 지속적으로 메세지가 오는것을 방지하기 위해 문제 발생 시 데이터 조회에 딜레이를 추가하였다.

마지막으로 해당 slack bot에 문제가 생겨 종료되거나 서버 자체에 문제가 생겨 서비스 체크가 이루어지지 않을 경우를 대비해 서비스 체크가 24번 이루어지면 (최소 24시간) 관리자에게 정상적으로 동작한다는 메세지를 전송한다.

public void work() {
    logger.debug("Service check start");
    while (true) {
        try {
            Thread.sleep(delayHour * 60 * 60 * 1000);
            job();

            if (++cycleCount > 24 * 7) {
                slackBot.sendMessageToChannel("WIGOMON Checker가 정상 동작중입니다.");
                cycleCount = 0;
            }

        } catch (InterruptedException | RuntimeException e) {
            e.printStackTrace();
        }
    }
}

WIGO 공개

WIGOMON

Copyright(c) WIGO Corp. All rights reserved.