학교 공지사항 봇 개발기

복학이 한 달 남짓 남았을 때였다. 슬슬 학교로 돌아갈 준비를 하다보니 학교 홈페이지를 계속 들어가야 했다. 수강신청 일정이며, 장학금 신청 기간 등의 공지사항을 보려면 어쩔 수 없었다. 이 과정이 생각보다 귀찮았다. (공지사항이 언제 올라올지 모르니) 그래서 공지사항이 올라오면 알려주는 봇을 만들기로 했다.

 

이 글을 기초로 만들었다. 좋은 자료 감사합니다🙏

 

❓생각하기

처음엔 아주 단순하게 생각했다. 우리 학교 홈페이지는 메인에서 위젯으로 대략 열 개 남짓의 공지사항을 알려준다. 이걸 크롤링하면 되지 않을까?

 

그래서 처음 만들 때는 메인에 있는 위젯을 크롤링했다. 다 만들고 나니 문제에 봉착했다. 위젯은 왼쪽 상단에 게시판 이름이 출력되는 형태였는데 실제 게시판 이름과 매치하지 않았다…. (버그라고 생각한다.) 그리고 봇의 확장성을 고려해서 위젯 크롤링에서 게시판별 크롤링으로 방향을 틀었다.

 

🔍관찰

우리학교 게시판 URL은 아래의 형태를 가지고 있다.

https://www.ut.ac.kr/cop/bbs/BBSMSTR_게시판번호/selectBoardList.do

공지사항은 한 개의 게시판에서만 올라오는 게 아니고, 분류에 따라 전용 게시판이 있다.(장학안내, 학사안내 등)

 

그리고 우리학교 게시글의 URL은 다음과 같다.

https://www.ut.ac.kr/cop/bbs/BBSMSTR_게시판번호/selectBoardArticle.do?nttId=게시글번호

 

정리하자면 크롤링을 하기 위해서는 게시판번호와 게시글 번호가 필요하다는 걸 알 수 있다.

 

📚데이터베이스

새 글이 있는지의 여부를 알려면 기존의 글과 비교를 해야한다. 그러려면 기존의 글을 저장할 필요가 있다.

 

링크에서는 크롤링한 데이터를 Django에 저장한다. 그래서 나도 비슷하게 Django와 heroku를 이용해서 구성하려 했다. 그런데 막상 만들다보니 익숙하지 않아서 불편했다. 그래서 Mysql을 쓸까하다가... PostgreSQL을 사용하게 되었다. 왜 이렇게 되었는지는 나도 모르겠다.

 

knut_bbs: 게시판 정보를 저장할 테이블

Column	Type	Collation	Nullable	Default
pk_id	integer		not null	nextval('knut_bbs_pk_id_seq'::regclass)
title	character varying(100)		not null
category	character varying(100)
bbs_id	character varying(200)		not null

pk_id: 기본키
title: 게시판 이름(ex. 학사안내)
category: 게시판이 속한 상위 카테고리의 이름(ex. 학사정보)
bbs_id: 게시판 번호

 

기본키를 따로 만들지 않고 게시판 번호를 기본키로 써도 괜찮았을 거 같다.

 

knut_article: 게시글 정보를 저장할 테이블

Column	Type	Collation	Nullable	Default
pk_id	integer		not null	nextval('knut_article_pk_id_seq'::regclass)
bbs_title	character varying(100)
title	character varying(300)		not null
link	character varying(300)		not null

pk_id: 기본키
bbs_title: 게시판 이름(ex. 학사안내) knut_bbs의 title을 외래키로 지정해두었다.
title: 게시글 제목
link: 게시글 링크

 

다시보니 테이블을 잘못 만든 거 같다. link 대신 게시글 번호를 저장하는게 맞는 거 같고, bbs_title은 게시판 이름이 아니라 bbs_id를 저장했어야 했는데…. 나중에 고쳐야겠다. 😂😂😂

 

👩‍💻개발

프로그램의 동작 순서를 적어봤다.

1. knut_bbs로부터 category가 공지사항, 학사정보인 게시판 이름과 게시판 번호를 가져온다.
2. 1에서 가져온 게시판의 첫페이지를 크롤링한다.
3. 크롤링한 데이터를 가공한다.
4. 데이터베이스에 중복된 게시글이 없다면 데이터베이스에 저장 후 텔레그램 채널로 메시지를 전송한다.

나는 메인으로 파이어폭스를 사용하고 크롬은 거의 쓰지 않는데, 크롤링을 위해 CSS 선택자를 가져오면서 브라우저의 차이점(?)을 느꼈다. 같은 아이템을 가져온 건데도 결과값이 달랐다.

 

예를 들기 위해 개발자 도구로 네이버의 로고를 클릭해서 XPath를 가져와봤다.

 

크롬

//*[@id="PM_ID_ct"]/div[1]/div[1]/div/div[1]/h1/a/span

파이어폭스

/html/body/div[3]/div[1]/div[1]/div/div[1]/h1/a/span

디테일이 다르다고 해야할까? 실제로 쓰기엔 크롬이 더 좋았다. 파이어폭스로 긁어오니까 적용이 안됐다…. 개발할 땐 크롬을 써야한다는 걸 다시금 깨달았다.

 

난관에 부딪힌건 데이터베이스 부분이었는데, 삽질 한 번 거하게 했다.

def latest_notice(bbs_title):
    latest_query = 'select title from knut_article where bbs_title = \'%s\' LIMIT 1;' % bbs_title
    cur.execute(latest_query)

    if cur.fetchall is not None:
        latest_result = cur.fetchall().pop()[0]
        return latest_result
    else:
        return None

쿼리문이 문제라기보다는 쿼리의 결과값으로 받은 객체를 제대로 다루지 못해서 오류가 생겼다. 테스트 중이니 당연히 쌓여있는 데이터가 없었고 그래서 결과값이 아무것도 없는데 강제로 pop()[0]를 하니 오류가 생길 수 밖에.

 

그래서 바꿨다.

def getArticle(article_title):
    search_query = 'select count(title) from knut_article where title = \'%s\';' % article_title
    cur.execute(search_query)

    result = cur.fetchone()[0]
    if result:
        return False
    else:
        return True

결과값이 1이면 동일한 제목의 게시글이 있는 거니까 False를 반환하고, 0이면 True를 반환하게 바꿨다.

게시글 제목이 아니라 게시글 번호로 할 걸하는 아쉬움이 남는다.

 

전체 코드: Github

 

📡서버 & 🖥️개발환경

heroku를 사용하기로 했던 것도 Django 때문이었는데 Django를 쓰지 않게 되었으니 굳이 안 써도 되겠다 싶었다. 데이터베이스를 사용하려면? 카드 등록을 해야하는 데 하기 싫었다. 결국 집에서 놀고있는 서버를 돌리기로 했다.

 

서버 운영체제는 Ubuntu 18.04.3 LTS를 설치했다. 크롤링+봇 프로그램은 cron을 이용하여 1분마다 실행된다.

 

개발은 Windows 10 + PyCharm Professional 환경에서 하고 있다. git으로 버전관리를 하고 github를 이용해 서버와 프로젝트를 공유하고 있다.

 

매번 git pull origin master를 치기 귀찮아서 이것마저도 cron으로 10분마다 실행되게 해놨다.

 

🙌완성!

https://t.me/knut_notice

혼자 쓰려고 만든 거였지만 많은 사람들이 쓰면 좋을 거 같아서 페이스북 페이지에 홍보글을 남겼다. 나와 봇을 제외하면 35명이 참여하고있다. 내가 만든 프로그램이 실제로 다른 사람이 쓰는 건 처음이다. 매우 뿌듯!

 

🤔앞으로의 계획 & 😶후기

일단 코드 리팩토링을 해야할 거 같다. 파이썬스럽게 코드를 작성하는 방법을 누가 알려주면 좋겠다.

 

knut_article의 테이블 구조 변경이나 그에 따른 함수 쿼리문 변경을 할 예정이고, 끝나고 나면 사용자별 학과 게시판 공지사항 알림 기능을 만들 예정!

 

지금의 교통대 알리미는 텔레그램 채널을 이용해서 봇이 채널로 메시지를 보낸다. 그런데 개별 알림은 채널이 아니라 봇이 개인에게 메시지를 보내는 형태라서 API 사용 방법을 더 공부해야할 거 같다.

 

별 거 없는 개발기를 거창하게 작성하고 나니 만든 프로그램보다 더 길다….

 

나는 Java를 더 좋아하지만, Python이 쉽고 빠르게 개발할 수 있다는 건 부정할 수 없다. 아무튼, 간만에 재밌는 거 만들어서 좋았다.

 

그나저나 졸업작품은 뭐하지….

 

+ 2021년 8월 2일 채널 운영 종료

이미 졸업을 했지만,  유지 보수가 필요하지 않아 계속 운영 중이었다. 그런데 오늘 프로그램을 고쳐야 할 상황이 왔고, 이미 졸업도 한 마당에 더 유지하고 싶다는 생각이 들지 않아 채널을 삭제했다. 마지막 인원은 나와 봇을 제외하고 95명이었다. 안녕 👋