반응형/적응형 웹 , DOM, 크롤링 (robots.txt)

반응형 웹은 웹 페이지가 모든 화면 크기에서 잘 렌더링되도록 하는 웹 디자인 접근 방식이다. 기존에는 PC와 같은 모니터에서 사용되는 웹사이트들이 대부분을 이루었지만, 현재는 핸드폰과 태블릿 등 다양한 디바이스들이 생겼다. 그렇기 때문에 반응형 웹을 통해 모든 디바이스에서 원활하게 웹사이트가 렌더링 될 수 있다. RWD라고도 불린다. 감지된 화면 크기에 따라 자동으로 페이지가 재배열된다.

 

이에 반해 적응형 웹은 정적인 사이즈로 만들어진 웹사이트로, 웹사이트의 크기가 변경될때 변경되지 못한다. 그렇기에 디자이너가 이미 다양한 몇 가지의 화면 너비에 따라서 화면을 미리 만들어두고, 제일 적절한 화면을 보여주는 식으로 웹사이트를 렌더링한다. 

 

DOM (문서 객체 모델, Document Object Model)이란 프로그래밍 html, xml 문서 등에서 구조화된 표현을 제공하고, 문서 구조, 스타일, 내용을 변경하도록 해주는 API이다. DOM은 documents와 objects로로 이루어져있고, 이것은 스크립트와 프로그래밍 언어에서 사용될 수 있도록 연결한다. 여기에서 파생된 Virtual DOM은 DOM의 구조를 흉내 낸 자바스크립트 객체이다. 모든 웹 브라우저는 DOM API를 사용하여 웹 화면에 띄워준다. 

 

웹 크롤링은 웹 페이지의 구조를 분석하고 파악하여 가져온다. 웹 상의 정보들을 탐색하고 수집한다. 여러 웹사이트를 돌아다니면서 내용을 정리하고 요약한다. 웹 스크래핑은 웹사이트 및 페이지에서 필요한 데이터를 자동으로 추출하는 것을 의미 한다.  웹 크롤링은 방대한 양의 정보를 수집, 저장 후 분석을 하고, 실시간으로 변화하는 데이터를 이용하는 데에 유용하다. 웹 스크래핑은 특정 사이트와 페이지에 정보를 찾으므로 정확한 정보를 획득하는 데에 주안점을 둔다. 

여기서 robots.txt는 웹 크롤러들이 따라야 하는 하나의 지침 세트라고 할 수 있다. 일반적인 텍스트 파일인데, Disallow와 Allow를 통해 크롤링 가능 여부를 설정할 수 있다. 또한 Crawl-delay 등의 명령도 있는데, Crawl-delay를 통해 서버에 과한 부담을 주지 않도록 하는 명령이다.