인공지능은 나의 읽기와 쓰기를 어떻게 바꿀까 / 김성우

 

 

거대언어모델이 만들어지는 과정

1단계: 거대 언어 자료를 위한 웹상의 언어 데이터를 대량으로 수집합니다. 흔히 '언어 빅데이터'라고 불리지만, 전산언어학자들은 '말뭉치' 혹은 '코퍼스'라고 부릅니다. 물론 아무 데이터나 마구 수집하는 것은 아니고, 일정한 기준을 충족하는 언어 데이터를 수집합니다. 

 

2단계: 이렇게 모은 코퍼스를 필터링하여 비교적 품질이 좋은 데이터만을 남깁니다. 대규모 데이터이기에 사람이 일일이 수작업으로 분류할 수는 없으며, 텍스트 분류기를 활용하는 경우가 많습니다. 아울러 웹은 생각보다 많은 중복 데이터를 포함하므로 겹치는 텍스트를 자동으로 삭제하는 과정을 거칩니다. 

 

3단계: 토큰화를 진행합니다. 수집한 코퍼스에서 토큰의 목록을 추출하는 작업입니다. 토큰은 코퍼스를 이루는 기본 단위라고 할 수 있는데요. 쉡게 말해 (토큰이 단어와 정확히 일치하지는 않지만) 해당 코퍼스에 어떤 단어들이 있는지를 추출하는 작업입니다. 그런데 이런 작업을 하더라도 컴퓨터가 직접 단어를 이해하고 해석할 수 없기 때문에, 컴퓨터가 처리할 수 있는 숫자로 이루어진 행렬로 변화하는 일이 필요합니다. 이를 임베딩이라고 합니다. 토큰화에 이어 임베딩까지 진행되면 인간이 사용하는 언어에 존재하는 형태와 의미의 짝이 사라집니다. 그런데 어떻게 인공지능은 의미에 맞는 언어를 생성할 수 있을까요? 그것은 언어가 토큰으로 변환되었을 때 각각의 토큰이 다른 토큰과 맺는 관계를 계산해 낼 수 있기 때문입니다. 여기에서 형태와 의미의 조합은 사라지지만 토큰 간의 관계를 명확히 파악할 수 있다는 것이 핵심인데요. 이 세계에 존재하는 수많은 단어가 어떤 패턴으로 존재하는지 알 수 있다면 개별 단어들의 의미를 알 수 있다는 아이디어는 언어학에서 힌트를 얻은 것입니다. 

 

4단계: 특정 모델은 이렇게 처리된 데이터를 통해 훈련됩니다. 현재 가장 널리 사용되는 모델은 인공 신경망에 기반한 트랜스포머 아키텍쳐입니다. 트랜스포머 내에도 여러 종류와 버전이 있지만, 이 기술의 토대를 놓은 것은 구글의 <필요한 것은 주의집중뿐 Attention Is All You Need >이라는 제목의 논문입니다. 

 

5단계 : 데이터를 통해 훈련된 모델은 기본적으로 '다음에 어떤 단어가 올지'를 잘 예측합니다. 이렇게 간단한 작업에서부터 보다 길고 복잡한 맥락을 주고 다음 단어를 예측하는 과업까지를 두루 학습한 모델은 일종의 '확률 기계'로서 다음에 나올 단어를 예측하고, 이에 기반하여 다음에 나올 단어를 예측하는 일에 '도사'가 됩니다. 하지만 이것만 가지고 우리가 원하는 언어 생성을 요청하기는 무리입니다. 인간은 특정한 맥락에서 특정한 의도를 실현하고자 말을 하고 글을 써서 소통하지, 무작위로 배치된 단어 다음에 무슨 단어가 나올지 예측하는 방식으로 소통하지 않기 때문입니다. 

 

6단계: 이제부터는 흔히 '파인'이라고 부르는 단계입니다. 인간의 감독하에 이뤄진다는 의미에서 'Supervised Fine Tuning'이라고 불리는데요. 파인 튜닝은 웹의 대규모 코퍼스를 통해 훈련된 '다음 단어 맞추기 기능'을 업그레이드하고, 사용자가 원하는 언어를 생산하도록 훈련하는 단계입니다. 여기에서 강조하고 싶은 것은 이 단계에서부터는 인간이 광범위하게 개입한다는 것ㅇ빈다. 다시 말해 인공지능 개발의 핵심은 '기계학습'이라고 말하지만 사실 기계가 혼자 학습하는 것만으로는 쓸 만한 기능을 건지기가 쉽지 않습니다. 특정한 목적과 조건에 부합하는 텍스트를 생산하려면 추가 작업이 필요합니다. 이와 같은 이유로 파인 튜닝 단계에서는 사람이 쓴 모범적인 '프롬프트-응답' 쌍을 통해 모델이 훈련을 하게 됩니다. 쉽게 말해 인간이 시범에 기반해 모델이 업그레이드되는 것입니다. 보통 수만에서 10만 건 정도의 질의응답이 여기에 투여됩니다. ㅊ

 

7단계: 이 단계에 이르러서도 아쉬운 점이 많습니다. 조금씩 엇나가는 답이 나오기도 하고, 차별적이고 노골적인 언어가 그대로 노출되기도 합니다. 위험한 정보를 요구해도 거리낌 없이 제공하는 일이 벌어지지요. 그래서 인간이 직접 인공지능의 답변을 평가하고, 이 결과를 통해 기계가 학습하는 과정에서 어떤 보상을 줄 것인지 정의하는 모델을 업그레이드합니다. 그렇지만 답변의 아쉬움이 완벽히 사라지지는 않기 때문에, 서비스가 시작된 뒤에도 모델 업그레이드가 필요합니다. 그래서 추후 파인 튜닝을 조금씩 반복적으로 실시함으로써 성능을 향상시킵니다 "A 답변과 B 답변 중 어느 쪽이 더 나은가?"와 같은 질문을 던져서 나온 사용자의 답변을 참고해 파인 튜닝에 반영하기도 하지요. 

 

챗GPT나 제미나이 등의 서비스는 모두 이와 유사한 단계를 거쳐 개발되었습니다.

 

 

 

 

생성형 인공지능의 부상과 새로운 읽기-쓰기의 상상력

• 특정한 인공물의 사용을 개인이 거부할 순 있겠지만, 사회를 구성하는 인간의 삶은 기계와 분리되지 않습니다. 

 

• 각자의 삶에서 분리되지 않은, 그래서 진정성이라는 향기가 나는 글을 쓰려면, 인간은 생성현 인공지능과 어떻게 협업해야 할까요? 인공지능이 우리의 글쓰기 능력을 퇴화시키지 않고 확장하게 하려면, 우린 인공지능과 어떤 관계를 맺어야 할까요? 논점은 인간과 기계의 평화로운 공존입니다. 

 

• 인공지능이 지식 노동과 리터러시 생태계 전반을 뒤흔들고 있지만, 그 한계 또한 명백합니다. 텍스트 생산의 측면에서 볼 때 현재 생성형 인공지능의 근간이 되는 거대언어모델은 기본적으로 통계적인 알고리즘에 따라 언어를 생성하는 모델입니다. 경험을 통해 세계를 배우는 것이 아니라 말뭉치를 통해 언어를 배우기 때문에 텍스트 바깥의 세계를 다면적으로 이해하지 못합니다. 논리적으로 추론하거나 의도를 가지고 행동하는 능력이 없습니다. 물론 의식을 지니고 있지도 않지요. 여러 기준에서 인간보다 더 뛰어난 수행 능력을 보여주지만 이것이 모든 면에서 인간을 뛰어넘는 이해와 추상화-사고 능력을 가지고 있음을 의미하는 것은 아닙니다. 존재하지 않는 정보나 허위 사실을 자신 있게 표현하는 소위 '환각'의 문제, 정교한 사고를 요하는 과업에 대해 터무니없는 논리를 펼치는 추론 능력의 한계, 데이터가 부족한 영역에 기존의 지식을 적용하지 못하는 일반화 및 전이 역량의 부족 등은 여전한 이슈입니다. 표준화된 시험은 놀라울 정도로 잘 보지만 자신이 쌓은 지식의 반경에서 벗어나는 시나리오에는 그토록 방대한 지식을 제대로 적용하지 못하는 아이러니가 발생합니다.

 

•  인공지능과의 협업에 있어 구체적인 실천 원리

1. 본격적인 생성적 멀티 리터러시 실천의 가능성

2. 모든 것과 함께 읽고 모든 것과 함께 쓰기

3. 엄밀한 상상력의 조력자가 되는 인공지능

4. 말과 글을 횡단하며 쓰기

5. 인공지능과 함께하는 사회적 쓰기

6. 협업의 반경을 넓고 더 넓고 단단하게 읽기-쓰기

7. 저항의 동반자로서의 인공지능 상상하기

8. 보편적 학습 설계를 위한 인공지능 상상하기 

 

 

1 읽고 쓰는 인공지능이 던지는 질문들

 

• 현재 우리의 삶에서 가장 슬픈 것은 사회를 지혜를 갖추는 것보다 과학이 더 빠르게 지식을 축적하고 있다는 사실이다 - 아이작 아시모프

 

• 리터러시는 보통 문해력으로 번역됩니다. 문해력은 글을 읽고 이해하는 능력입니다. 

 

2 인간의 읽기-쓰기, 인공지능의 읽기-쓰기: 개념적 탐색

• Prepare, Don't Panic. 

 

• 인간과 인공지능의 시간이 다르다는 점을 극적으로 드러내는 단어가 있으니 바로 '에포크' epoch 입니다. 옥스포드 영어사전에서는 에포크를 '역사 또는 개인의 삶에서 일반적으로 주목할 만한 사건이나 특정 특성으로 특정지어지는 기간'으로 정의합니다. 

 

• 데이터가 모두 신경망을 통과했다면 그것을 하나의 에포크로 봅니다. 인간과 인공지능에게 에포크는 너무나 다른 개념입니다. 그렇기에 인간의 시간 경험은 1) 수백만 년에 걸친 진화의 시간 및 2) 공동체가 축적해 온 문화적 시간과 교류하는 3) 각자의 생애사를 통과한 몸의 시간을 경유하여 이루어집니다. 이에 비해 기계는 질적으로 다른 시간을 경험합니다. 모델의 복잡도, 연산의 성격, 하드웨어 인프라, 데이터 세트의 크기, 최적화 방법 등에 따라 크게 차이가 나지만 초소규모 인공지능 모델의 경우 몇 초, 대규모 모델의 경우 최대 몇 주 정도의 시간을 통해 탄생됩니다. 이후 데이터와 알고리즘의 업데이트를 통해 성장하고 진화하지요. 인간과 기계의 영역에서 다르게 정의되고 경험되는 에포크는 인간과 기계가 서로 다른 스케일의 시간을 살아가는 존재들이라는 점을 방증합니다. 

 

• 다른 시간을 살아가는 두 존재가 동일하게 배울 수는 없을 겁니다. 이런 맥락에서 인간의 학습과 기계의 학습 혹은 '휴먼 러닝'과 '머신 러닝'의 차이를 생각해봅시다.

 

1. 우선 배우는 바, 즉 학습의 재료가 다릅니다. 인간의 언어 학습은 경험의 총체와 연관을 맺고 진행됩니다. 우리는 흔히 '말을 배운다'라고 하지만, 말'말' 배울 수는 없습니다. 말은 언제나 특정한 경험 속에서 발생합니다. 혼잣말조차 하늘에서 떨어지진 않지요. 생애 초기의 경험과 양육자를 중심으로 형성되며, 양육자와의 상호작용이 언어 학습의 가장 중요한 원천이 됩니다. 이에 비해서 현재 생성형 인공지능의 가장 중요한 축을 담당하는 거대언어모델은 텍스트, 즉 글을 통해 언어를 배웁니다. 학습의 처음부터 끝까지 문자언어로 채워지는 것이지요. 태어나면서부터 글을 줄줄 읽어내는 아기를 상상할 수는 없지만, 기계는 글로 시작해서 글로 끝나는 학습 과정을 거칩니다. 

 

현재의 거대언어모델이 학습하는 것은 인간의 언어 경험 즉, 시간, 공간, 관계, 주변 환경과 물건, 온도, 조명, 소음, 음악, 상대의 표정, 말하는 사람 간의 거리, 제스처, 몸의 자세, 이동, 목소리의 질감과 크기, 말의 속도, 키나 덩치 등 대화 참여자의 신체적 특성 등을 포함하는 상호작용의 총체와는 거리가 매우 멉니다. 이런 한계는 멀티모달 모델에 의해 조금씩 극복되는 것처럼 보이지만, 이런 모델이 학습하는 데이터 또한 오감과 시공간에 대한 감각, 신체 내부에 대한 감각, 주관적인 느낌 등 인간 경험의 총체와 비교하기에는 무리가 있습니다. 

 

2. 인간의 언어는 각자의 몸이 가진 특성을 반영하여 다양한 방식을 취하지만 기계는 문자, 그것도 대부분 정제된 텍스트를 기반으로 언어를 학습합니다. 이는 인간의 언어가 가진 다양성을 반영하지 못함과 동시에 구어와 문자, 수어, 촉수어 간에 존재하는 권력의 비대칭을 그대로 반영하는 거대언어모델의 편향을 보여줍니다. 이는 인종, 문화, 젠더, 계층, 지역 등의 영역에서 텍스트로 된 학습 데이터가 보여주는 편향과는 다른 층위에 존재하는 편향이라고 할 수 있습니다. 

 

3. 학습의 양입니다. 인간이 평생 듣고 읽는 언어의 총량을 추산하기는 쉽지 않습니다. 사람마다 일상 언어에  노출되는 정도나 독서 및 미디어로 언어를 경험하는 양에 편차가 크기 때문입니다. 계산의 편의를 위해 태어나면서부터 한 해에 오십 권씩의 책을 여든 살까지 쉬지 않고 읽었다고 하면 4천 권이 되겠네요. 이에 비해 오픈AI의 GPT-3의 경우 약 570기가바이트의 텍스트로 훈련되었습니다. 이를 300페이지 단행본 분량으로 환산하면 대략 2백만 권 정도에 해당합니다. 한 해 백권의 책을 읽는 사람이 2만 년 동안 읽어야 하는 분량이지요. 

 

4. 학습에 수반되는 다양한 경험입니다. 인간의 학습은 개개인이 경험하는 총체에 기반을 둡니다. 여기서 가장 중요한 측면은 인간은 생물학적인 몸을 가진 존재이며 몸 자체라는 것입니다. 몸에 딱 맞는 세계와 기술은 존재하지 않으며, 인간은 세계와 만나면서 몸을 변형시켜 갑니다. 하지만 기계학습은 이런 몸의 변화를 수반하지 않습니다. 신경망 학습이라면 소위 '파라미터의 가중치'가 끊임없이 변하지만 그것이 컴퓨터와 서버의 하드웨어를 물리적으로 변형시키지는 않습니다. 

 

5. 학습 과정에서 감정을 경험하는지의 여부입니다. 인공지능은 기계학습을 통해 다양한 데이터를 '배웁니다'. 그런데 그 과정에서 어떤 감정도 느낄 수가 없지요. 기계가 부족하다거나 냉정하다는 뜻이 아닙니다. 그저 기계이기에 감정을 갖지 못하는 것이고, 이는 어떤 데이터도 알고리즘에 맞게 적절히 가공된다면 아무런 정서적 반응 없이 통계적으로 처리할 수 있다는 뜻입니다. 하지만 인간은 그렇지 않습니다.

 

• 우리 인간은 어디로 향할지 전혀 알지 못하고 글을 쓰기 시작하기도 합니다. 때로는 글이 우리를 어디론가로 데려가 주리라는 헛된 믿음만을 가지고 말이지요. 하지만 인공지능은 어떻게든 글을 만들어 냅니다. 단어를 하나씩 더하다 보면 어딘가에 이릅니다. 정처 없이 움직이는 것 같지만, 이미 세팅되어 있는 거대한 파라미터의 계시는 이미 많은 것들을 정해 놓은 상태입니다. 인간은 쓰다가 쉬어 가거나 아예 중지할 수도, 오랜 시간 정성을 쏟은 글도 엎어 버릴 수 있지만, 인공지능은 오작동으로 멈추지 않는 한 쓰기를 계속하고, 마치고야 맙니다. 인공지능이 보기에 인간은 불완전하고 비논리적인 존재일지 모르지만, 인간이 보기에 인공지능은 의도와 목적 없는 생산에 특화된 존재입니다. 

 

• 생각이 글이 되는 순간 우리는 글을 볼 수 있습니다. 글을 쓰는 과정에 깊이 빠져들수록 어디가 안이고 어디가 밖인지, 어디까지가 머릿속 생각이고 어디서부터가 스크린 위 언어인지의 경계가 흐려집니다. 생각은 언어가 되고 언어는 생각이 됩니다. 사고와 언어의 유기적 결합이 일어납니다. 생각을 정리하고 쓰는 게 아닙니다. 단지 생각을 정리하려고 쓰는 것만도 아닙니다. 생각을 내어 놓고 검토하고 발전시키려고 쓰는 것입니다. 손끝에서 나오는 텍스트와 머릿속 사고 과정이 끊임없이 교섭하고 상호작용하는 과정, 보이지 않는 생각의 흐름이 보이는 텍스트가 되고 이것이 다시 사고의 재료가 되는 과정, 그 전부가 쓰기입니다. 이런 면에서 쓰기는 잡히는 것과 잡히지 않는 것을 엮어 내는 신비한 도구이기도 합니다. 

 

• 기계학습을 하려면 전처리 작업이 필요합니다. 모델에 따라서 데이터를 표준화하는 빠진 데이터를 채워 넣는 일, 데이터의 노이즈를 최소화하고 적절한 특성을 뽑아내는 일, 이미지의 크기를 조절하거나 필요한 경우 보강하는 작업 등이 요구됩니다. 이 작업의 규모가 상당히 커서 머신러닝 프로젝트의 대부분을 차지하기도 합니다. 하지만 대부분의 인간의 학습에는 전처리가 없습니다. 세계는 날것 그대로 경험의 재료가 되고, 이것을 소화하고 숙성하여 학습과 발달로 연결하는 것은 인간이 감당해야 할 몫이지요. 세계는 인간의 몸으로 끊임없이, 예고없이, 그 어떤 머뭇거림도 없이 스며들고 침투합니다. 인간의 학습에 일종의 '전처리'가 있다고 한다면, 다양한 교육 자료나 교육적으로 조직된 경험이 그런 역할을 한다고 볼 수 있겠지요. 

 

• 거대언어모델에 기반한 챗봇은 대화하는 존재가 아니라 뭔가를 만들어 내는 존재입니다. 생성형 인공지능과의 상호작용은 기본적으로 '프롬프트-반응'으로 이루어집니다. 

 

• 인간으로서 현재의 인공지능이 인간의 이해에 도달하지 못했지만 동시에 인간의 이해와는 양과 질 모두에서 다른 방식의 새로운 이해를 수행하고 있습니다. 사실 기계가 인간처럼 이해해야 한다는 법은 없습니다. 그런 면에서 이해라는 개념 자체가 인간종의 관점에서 형성되었다는 점을 잊지 말아야 합니다. 인공지능은 이해하는가라는 질문을 던지기 전에 나는 인공지능을 이해하는가? 나아가 나는 인간의 이해를 이해하는가? 라고 묻는 것이 더욱 중대한 과업일지도 모르겠습니다. 

 

 

3 리터러시 생태계 어떻게 바뀔 것인가: 매개·전도·속도·저자성과 윤리

• 나는 내가 무엇을 아는지 발견하기 위해 쓴다. 

 

• 읽기와 관련해 특히 주목할 것은 소위 '세 줄 요약' 형식의 광범위한 활용입니다. 

 

• 종래의 글쓰기를 구성하는 '읽기->쓰기'의 방향성은 생성형 인공지능 기반 글쓰기에서 '쓰기->읽기'로 변화합니다. 이같이 '읽기->쓰기'에서 '쓰기->읽기'로의 전도가 계속되고 프롬프트를 활용한 글의 수정이 더욱 유연화된다면 사실상 읽기와 쓰기의 경계가 완벽히 무너집니다. 쓰기는 읽기를 기반으로 하지 않으며, 읽기의 대상은 타자의 저작이 아닌 인공지능에 의해 큐레이션되고 생성된 텍스트가 됩니다. 

 

 

 

4 프롬프트 엔지니어링이 만든 ‘질문이 모든 것’이라는 환상

• 프롬프팅은 글쓰기의 출발점이지 종착점이 아닙니다. 

 

• AI 시대에 가장 중요한 것은 좋은 질문을 던지는 역량이라는 말이 계속 마음에 걸립니다. 인공지능을 단지 도구로 보는 관점에 극히 비판적이지만 '도구로서의 인공지능'에 방점을 찍더라도 원하는 산출물을 얻는 데는 좋은 질문을 던지는 능력을 넘어 산출된 응답을 비판적으로 평가할 수 있는 역량이 필요하기 때문입니다. 무엇보다 좋은 질문을 던지는 힘은 깊이 관찰하고 경청하고 읽는 노동의 축적에서 나옵니다. 

5 사람은 기술을 만들고 기술은 사람을 만든다

• 21세기의 가장 흥미로운 혁신은 기술 때문이 아니라 인간으로 존재한다는 것의 의미에 대한 개념이 확장되면서 일어날 것이다. 

 

 

6 비판적 메타-리터러시 혹은 읽기-쓰기의 미래

• 쓰기가 자동화될 때 읽기의 중요성은 더욱 커진다. 

나오는 말: 리터러시, 더 넓은 세계와 연결되기. 더 작은 나로 살아가기

• 인간은 합리적인 동물이 아니라 합리화하는 동물이다. - 로버트 하인라인