101
AI 프롬프트 1번에 TV 9초?
우리가 AI 채팅창에 질문을 입력하고 엔터를 누르는 순간, 보이지 않는 데이터센터에서는 어떤 일이 벌어질까요? 막연히 '전기를 많이 쓴다'고 알려진 AI 서비스의 환경 비용, 구글이 제미나이(Gemini)의 상세한 실측 데이터를 공개하며 그 베일을 벗겼습니다.
AI의 '영수증': 정확히 얼마일까?
2025년 5월 기준, 제미나이 텍스트 프롬프트 1회를 실행하는 데 드는 평균 자원은 다음과 같습니다.
⚡️ 전력: 0.24Wh (100W TV를 약 9초 시청하는 에너지 )
💨 탄소 배출량: 0.03gCO₂e
💧 물 사용량: 0.26mL (물방울 약 5개 분량 )
이 수치는 "GPT-3 추론에 10~50mL의 물이 필요하다"는 기존 학계의 추정치보다 훨씬 낮은 값입니다.
하지만 이 숫자들보다 더 중요한 것은 이것을 '어떻게' 측정했느냐입니다.
'진짜 비용'을 측정하는 법: 칩 너머를 보라
지금까지 AI 에너지 측정은 대부분 AI 가속기(GPU/TPU) 자체에만 집중했습니다. 하지만 구글은 AI 서비스를 위해 실제 운영되는 모든 인프라를 포함하는 ‘포괄적(full-stack) 측정법’을 적용했습니다.
→ 기존 접근 방식 (Existing Approach): 대부분 활성 AI 가속기(Active AI Accelerators), 즉 AI 칩의 전력과 활용률에만 초점을 맞추는 경향이 있습니다. 일부는 CPU와 RAM 전력을 포함하기도 하지만, 유휴 장비나 데이터센터 전체의 오버헤드는 거의 포함하지 않습니다.
→ 구글의 포괄적 접근 방식 (Proposed Approach): AI 서비스를 실제로 운영하는 데 필요한 모든 주요 에너지 소비 요소를 포함합니다.
- 활성 AI 가속기: 실제 운영 환경에서의 TPU/GPU 활용률을 반영합니다.
- CPU & RAM: 호스트 컴퓨터의 CPU와 DRAM 전력을 포함합니다.
- 유휴 장비 (Idle Machines): 안정적인 서비스와 낮은 지연 시간을 위해 예비로 가동되는 유휴 장비의 에너지를 포함합니다.
- 오버헤드 (Overhead): 냉각, 전력 변환 등 데이터센터 인프라를 유지하는 데 드는 에너지(PUE)까지 모두 포함합니다.
이 포괄적 접근 방식은 AI 추론의 에너지 소비량을 더 정확하고 종합적으로 측정하여, 전체 서비스 스택에 걸쳐 에너지 절감 요소를 파악하고 개선을 유도하는 것을 목표로 합니다
그 결과, AI 칩만 계산했을 때보다
실제 환경 비용이 2.4배 더 높게 나타났습니다. 이는 AI의 환경 영향을 제대로 이해하기 위해선 더 넓고 정직한 기준이 필요하다는 것을 의미합니다.
1년 만에 이룬 44배의 기적, 그 비결은?
놀라운 점은 구글이 이 포괄적인 기준으로도 1년 만에 프롬프트당 총탄소 배출량을 44분의 1로 줄였다는 사실입니다. 어떻게 가능했을까요?
소프트웨어의 혁신 (에너지 사용량 33배↓): 모델 구조를 개선(23배)하고, 머신 활용도를 최적화(1.4배)하여 필요한 에너지 자체를 극적으로 줄였습니다. 필요한 전문가 모델 일부만 활성화하는 'MoE 아키텍처' 와 같은 기술이 대표적입니다. (수학 선생님, 국어 선생님 나눠진것처럼..)
깨끗한 에너지 사용 (탄소 집약도 1.4배↓): 대규모 풍력, 태양광 등 청정에너지 구매를 통해 전력 생산 과정에서 발생하는 탄소량을 줄였습니다.
하드웨어와 인프라의 힘: AI 연산을 위해 특별히 설계된 TPU(텐서 처리 장치) 와 세계 최고 수준의 효율(평균 PUE 1.09)을 자랑하는 구글 데이터센터 역시 핵심적인 역할을 했습니다.
결론: 작은 질문, 거대한 책임
AI 프롬프트 한 번의 환경 영향은 미미하지만, 전 세계 수십억 명의 사용이 모이면 거대한 흐름이 됩니다.
구글의 이번 발표는 AI 시대에 기술 발전만큼이나 그 환경적 책임을 투명하게 측정하고, 끊임없이 개선하려는 노력이 왜 중요한지를 명확히 보여줍니다. 앞으로 우리가 AI를 더 현명하고, 또 지속가능하게 사용하는 기준이 되기를 기대해 봅니다.
감사합니다.
참고 자료:
Measuring the environmental impact of delivering AI at Google Scale
0
0