Recent Posts

외부 사이트 DOM 변경에도 안정적인 스크래핑 유지하기

3 minute read

OddsPortal에서 실시간 배당 데이터를 스크래핑하는 엔진을 구축했다. 외부 사이트는 예고 없이 DOM 구조를 바꾼다. 어느 날 아침 출근하니 데이터가 멈춰 있었고, 원인은 사이트가 디자인을 바꿔버린 것이었다. 그때부터 “어떻게 하면 그 다음에는 이런 일이 안 생길까”를 고민했...