알고리즘은 예측되어야 한다

알고리즘을 가장 단순하게 표현하면 현재 상태를 다음 상태로 바꾸는 규칙이라고 할 수 있다.

수학의 점화식은 이전 항으로 다음 항을 정의한다.

a(n+1) = f(a(n))

소프트웨어도 본질적으로 다르지 않다. 입력값과 현재 상태가 주어지면 정해진 절차를 거쳐 다음 결과를 만든다.

nextState = transition(currentState, input)

점화식과 알고리즘이 엄밀히 같은 개념은 아니다. 하지만 둘은 하나의 중요한 성질을 공유한다. 변화가 규칙을 가진다는 점이다.

예측할 수 있다는 것

알고리즘이 예측 가능해야 한다는 말은 모든 결과를 미리 정확히 맞힐 수 있어야 한다는 뜻이 아니다. 핵심은 결과가 나온 이유를 규칙 안에서 설명할 수 있어야 한다는 것이다.

동일한 입력에 동일한 결과를 내는 결정적 알고리즘은 가장 직접적인 형태다. 하지만 난수, 병렬 처리, 분산 시스템, 머신러닝 모델처럼 결과가 매번 달라질 수 있는 시스템도 존재한다. 이런 시스템에서도 예측 가능성은 사라지지 않는다. 다만 예측의 대상이 단일한 결과에서 다음과 같은 경계와 확률로 바뀐다.

• 어떤 입력을 허용하는가
• 결과가 어느 범위 안에서 나오는가
• 실패할 확률은 어느 정도인가
• 실패했을 때 어떤 상태로 전이되는가
• 같은 조건에서 결과를 재현하거나 추적할 수 있는가

즉, 값을 정확히 예측하지 못하더라도 행동의 범위는 예측할 수 있어야 한다.

예측할 수 없는 시스템은 운영할 수 없다

개발 단계에서는 코드가 동작하는지만 확인하기 쉽다. 그러나 운영 환경에서 중요한 것은 정상 동작 자체보다 시스템이 다음에 어떻게 행동할지 판단할 수 있는가이다.

Kafka 컨슈머가 실패했을 때 메시지를 다시 처리하는지, DLQ로 보내는지, 유실하는지 알 수 있어야 한다. Elasticsearch나 OpenSearch의 디스크 사용량이 임계치를 넘었을 때 샤드 할당이 중지되는지, 인덱스가 읽기 전용으로 전환되는지 예측할 수 있어야 한다. API가 타임아웃되었을 때 재시도가 중복 거래를 만들지 않는지도 설명할 수 있어야 한다.

이런 시스템의 품질은 정상 경로보다 상태 전이의 규칙에서 드러난다.

정상 → 지연 → 재시도 → 복구
              ↘ 격리 → 수동 처리

전이 조건이 정의되어 있고 관찰 가능하다면 장애도 시스템의 일부다. 반대로 전이 조건을 알 수 없다면 정상처럼 보이는 순간에도 운영자는 시스템을 신뢰할 수 없다.

그래서 좋은 알고리즘과 좋은 시스템에는 공통적으로 다음 요소가 필요하다.

• 명확한 입력과 출력 계약
• 상태 전이 조건
• 항상 지켜져야 하는 불변 조건
• 실패와 재시도의 의미
• 시간과 자원 사용량의 상한
• 결과를 설명할 수 있는 로그와 메트릭

관측 가능성은 알고리즘 바깥에 붙이는 부가 기능이 아니다. 실제 운영 환경에서는 예측 가능성을 검증하는 장치다.

AI 시대의 알고리즘도 예외가 아니다

생성형 AI는 같은 질문에도 다른 답을 만들 수 있다. 그렇다고 AI 시스템이 예측 불가능해도 된다는 의미는 아니다.

모델의 개별 문장을 완전히 예측하기 어렵다면 시스템 차원에서 예측 가능성을 확보해야 한다. 모델 버전을 고정하고, 입력과 출력을 기록하며, 평가 데이터셋으로 품질을 측정하고, 허용할 수 없는 결과를 가드레일로 제한해야 한다. 신뢰도가 낮은 결과는 사람이 검토하도록 전이시켜야 한다.

사용자 입력
  → 정책 검사
  → 모델 추론
  → 결과 검증
  → 승인 또는 재처리

이때 알고리즘의 역할은 정답 하나를 기계적으로 만드는 데 있지 않다. 불확실한 모델을 예측 가능한 시스템 안에 배치하는 것에 있다.

우주적이라는 표현의 의미

우리는 내일의 모든 일을 알지 못한다. 그럼에도 우주를 이해할 수 있다고 믿는 이유는 변화가 아무렇게나 발생하지 않기 때문이다. 원인과 결과 사이에 법칙이 있고, 현재의 관측으로 다음 상태의 범위와 가능성을 추론할 수 있다.

따라서 “우주적이다”라는 표현은 모든 것이 결정되어 있다는 주장이라기보다, 변화에는 이해할 수 있는 질서가 있어야 한다는 의미에 가깝다.

예측 가능성은 단순한 편의 기능이 아니다. 이해와 신뢰가 성립하기 위한 조건이다. 현재 상태를 보아도 다음 상태를 전혀 설명할 수 없다면 그것은 알고리즘이라기보다 블랙박스에 가깝다. 블랙박스는 사용할 수는 있어도 책임 있게 운영하기는 어렵다.

알고리즘은 미래에 대한 작은 약속이다

좋은 알고리즘은 입력을 결과로 바꾸는 코드에 그치지 않는다. 현재 상태에서 어떤 조건을 거쳐 다음 상태로 이동할지를 설명하는 약속이다.

그 약속이 결정적일 필요는 없다. 그러나 검증 가능해야 하고, 실패의 범위가 정의되어야 하며, 결과가 예상에서 벗어났을 때 그 이유를 추적할 수 있어야 한다.

결국 알고리즘을 설계한다는 것은 미래를 정확히 맞히는 일이 아니다.

다음에 일어날 수 있는 일을 설명할 수 있도록 질서를 만드는 일이다.