크롤링을 기반으로 수천억 기업가치를 가진 회사들이 많다는 것 알고 계셨나요? 웹 크롤링을 똑똑하게 활용해 굉장히 커진 회사들의 이야기를 정리해 보았습니다.

요약

• Clay AI - 링크드인 크롤링


• BuiltWith - 웹사이트 URL 크롤링


• ChatGPT - 웹사이트, 책, SNS, 코드, 논문 크롤링


• Harvey AI - 법률 자료 크롤링


• CB Insights - 전세계 기업 정보 크롤링  

웹크롤링(Web Crawling)이란?

웹 크롤링은 웹사이트의 데이터를 자동으로 수집하는 기술입니다. 프로그램이 웹페이지를 자동으로 방문해서 필요한 정보를 가져오죠. 쉽게 말해 인터넷에서 원하는 정보를 자동으로 긁어 모으는 겁니다.