SNS 데이터를 활용하시거나 운영하시는 분들은 아실겁니다.  

생각보다 꾸준히 운영하는 게 쉽지 않습니다.

저도 최근에 X, Reddit, Threads, 인스타, 틱톡 같은 채널을 좀 더 체계적으로 키워보고 싶었습니다.  

그래서 "반복적으로 해야 하는 일은 AI가 대신하게 만들면 어떨까?"라는 생각을 했습니다.

제가 원했던 건 이런 흐름이었습니다.

AI가 여러 SNS를 주기적으로 모니터링하고, 제 계정과 관련된 글이나 반응을 분석한 다음, 댓글이나 답글 아이디어를 정리해서 슬랙으로 추천해주는 시스템.

아이디어 자체는 단순했는데, 막상 만들려고 하니 가장 큰 문제는 '데이터 수집'이었습니다.

플랫폼마다 API가 전부 다르고, 응답 포맷도 다르고, 호출 방식도 다르고, 인증 방식도 다르고, 심지어 비용 구조도 제각각이었습니다.

몇 군데는 따로 구독해야 했고,  어떤 곳은 AI 에이전트나 Claude가 바로 쓸 수 있는 MCP/스킬 형태를 지원하지 않아서 사용법을 하나하나 따로 알려줘야 했습니다.

이 과정에서 자연스럽게 이런 생각이 들었습니다.

"Firecrawl처럼 웹 데이터를 AI가 쉽게 가져다 쓸 수 있게 해주는 도구는 있는데,  
왜 SNS 데이터는 아직 이런 식으로 정리된 게 없지?"

저는 평소 Firecrawl을 자주 사용합니다. AI가 웹페이지를 읽고 활용할 수 있게 도와주는 방식이 정말 편리하다고 느꼈습니다. 

그래서 아예 비슷한 철학으로, SNS 데이터를 AI가 바로 쓸 수 있도록 정리한 서비스를 직접 만들기로 했습니다.

그렇게 Claude와 계속 대화하면서 약 2주 동안 만든 것이 바로 SocialCrawl입니다.

SocialCrawl은 X, Threads, Instagram을 포함한 21개 SNS 플랫폼의 데이터를 하나의 API로 받아올 수 있게 만든 서비스입니다.

http://socialcrawl.dev

플랫폼마다 전혀 다른 API를 일일이 붙일 필요 없이, 하나의 통합된 방식으로 데이터를 가져오고 AI 워크플로우나 MCP 환경에 연결해서 활용할 수 있도록 만드는 데 집중했습니다.

기술 스택은 다음과 같습니다.

- Next.js: 프론트엔드 + 백엔드
- Hono API: 백엔드 API 레이어
- NeonDB: 데이터베이스
- Better Auth: 로그인/인증
- Cloudflare R2: 스토리지

가능한 한 무료 또는 오픈소스 친화적인 인프라를 활용하고 싶어서  
Supabase 대신 NeonDB, Better Auth, Cloudflare R2 조합을 선택했습니다.

결과적으로 지금은  
X, Threads, Instagram 등 21개 SNS 플랫폼 데이터를 하나의 API로 가져올 수 있는 형태로 정리해두었습니다.

단순히 "데이터를 긁어오는 도구"가 아니라,  AI 에이전트나 Claude, 각종 자동화 워크플로우에서 바로 활용할 수 있는 SNS 데이터 레이어를 만드는 것이 목표입니다.

테스트해보고 싶은 분이 있다면 편하게 말씀 주세요. 무료 크레딧 쿠폰도 따로 드리겠습니다! 🙂