AI 엔지니어링 노트
AI가 잘할수록, 첫 실행은 더 작아야 한다
간단한 작업이지만 개수가 많은 일이 있습니다. 이런 작업일수록 처음부터 한 번에 맡기고 싶은 욕구가 커집니다.
특히 AI가 어느 정도 잘해줄 것이라고 느끼면 더 그렇습니다. 사람보다 빠르고, 반복도 잘하고, 지시만 명확하면 알아서 처리할 수 있을 것처럼 보입니다. 그래서 작은 확인 없이 바로 대량 작업을 맡기게 됩니다.
한 번은 이미 동작했던 코드를 기반으로 대용량 CDP batching 작업을 맡긴 적이 있습니다. 며칠 전에는 분명 성공했던 흐름이었습니다. 코드도 있었고, 이전에 된 기록도 있었습니다. 그래서 그대로 이어서 될 것이라고 생각했습니다.
하지만 그 사이 코드가 다른 목적으로 바뀌어 있었습니다. 30~40분 뒤에 완료됐다는 보고가 왔지만, 확인해보니 원하는 결과물이 없었습니다. 속도도 기대와 달랐습니다.
문제는 단순히 모델이 못한 것이 아니었습니다. 제가 실행 단위를 너무 크게 잡았습니다. 이전에 성공했다는 사실을 지금도 유효한 조건처럼 취급했습니다.
이전에 됐던 것은 참고 자료일 뿐입니다. 지금 실행할 코드 상태, 입력 조건, 기대 결과, 검증 방식은 다시 고정해야 합니다.
첫 실행은 테스트런이어야 한다
반복 작업이나 대량 작업은 처음부터 전체를 돌리지 않습니다. 먼저 작은 단위로 확인해야 합니다.
단일 실행
→ 결과 확인
→ 기준 충족 여부 판단
→ 승인
→ 반복 수행
첫 테스트런은 성능을 보기 위한 단계가 아닙니다. 방향이 맞는지 확인하는 단계입니다.
전체 작업을 한 번에 맡기면 빠르게 끝나는 것처럼 보입니다. 하지만 방향이 틀리면 오래 기다린 뒤에야 문제를 발견합니다. 반대로 작은 테스트런을 먼저 하면 30~40분 뒤에 알 일을 5분 안에 알 수 있습니다.
그 5분은 느린 시간이 아닙니다. 잘못된 반복을 막는 시간입니다.
phase는 되돌아갈 지점을 만드는 일이다
작업이 간단해 보일수록 phase를 나누지 않고 싶어집니다. “어차피 단순 반복인데 한 번에 처리하면 되지 않나?”라고 생각하게 됩니다. 하지만 phase를 나누는 이유는 일을 복잡하게 만들기 위해서가 아닙니다. 문제가 생겼을 때 어디로 돌아가야 하는지 알기 위해서입니다.
A-Z를 한 번에 맡기면 결과는 빨리 나옵니다. 하지만 틀렸을 때 원인을 좁히기 어렵습니다. phase가 있으면 확인할 수 있습니다.
- 입력 조건이 맞았는지
- 실행 코드가 현재 상태와 맞는지
- 결과물 형식이 기대와 같은지
- 검증 기준이 충분했는지
- 반복 전에 멈춰야 할 지점이 있었는지
phase는 속도를 늦추기 위한 장치가 아닙니다. 틀린 방향으로 빨리 가는 것을 막기 위한 장치입니다.
반복은 프롬프트가 아니라 코드로 고정한다
테스트런을 통과했다면 그다음은 반복입니다. 하지만 반복을 계속 프롬프트로 처리하면 비용이 커집니다. 같은 지시를 계속 던지면 토큰을 계속 쓰게 됩니다. 게다가 매번 모델의 판단이 조금씩 섞일 수 있습니다. 반복이 명확해진 뒤에는 가능한 한 코드로 고정하는 편이 낫습니다.
판단이 필요한 부분 → AI에게 맡긴다
반복이 확정된 부분 → 코드로 고정한다
검증이 필요한 부분 → 체크 기준으로 분리한다
AI를 쓰지 말자는 뜻이 아닙니다. AI를 반복 실행기에 가깝게 쓰기보다, 반복 가능한 구조를 만드는 데 쓰자는 뜻입니다. 모델이 매번 판단해야 하는 영역과, 코드가 안정적으로 반복해야 하는 영역은 구분되어야 합니다. 그래야 토큰은 줄고, 결과는 더 예측 가능해집니다.
많이 맡길수록 더 작게 시작해야 한다
AI에게 맡길수록 더 빨리 실행하고 싶어집니다. 특히 간단한 작업이 많이 쌓여 있으면 한 번에 넘기고 싶어집니다. 하지만 반복 작업에서 중요한 것은 처음부터 많이 처리하는 것이 아닙니다. 처음 실행이 맞는 방향인지 확인하는 것입니다.
지금은 이렇게 생각합니다.
- 기준은 먼저 고정한다.
- 첫 실행은 작게 한다.
- 통과한 흐름만 반복한다.
- 반복은 가능한 한 코드화한다.
- AI는 판단이 필요한 곳에 쓴다.
이전에 됐다는 기억보다 중요한 것은, 지금도 같은 조건인지 확인하는 일입니다. AI가 잘할수록 더 많이 맡기고 싶어지지만, 바로 그럴수록 첫 실행은 더 작아야 합니다.