인공지능 강화학습은 시행착오를 통해 지능을 키우는 기술입니다.
오늘날 강화학습은 다양한 분야(게임, 금융, 로봇 등)에서 활용을 하고 있으며 기대 이상의 성과를 달성하고 있습니다.
오늘은 인공지능 강화학습 이란 무엇이고 인공지능의 알고리즘과 단점, 예제 등을 알아보도록 하겠습니다.
인공지능 강화학습 이란?
인공지능 강화학습은 시행착오를 통해 지능을 키우는 기술입니다.
한마디로 AI가 스스로 경험을 하고 학습을 하여 성장하는 기술을 말합니다.
인공지능 강화학습은 에이전트 및 환경, 행동, 상태, 보상으로 이루어져 있습니다.
에이전트는 AI가 스스로 학습을 할 수 있도록 하는 시스템으로 경험을 할 수 있는 환경(대상)을 찾고 그에 따른 행동을 시작합니다. 그리고 보상(결과)을 생성합니다.
강화학습은 이러한 시행착오를 계속 반복하여 최고의 보상을 얻도록 학습을 하는 것입니다.
인공지능 강화학습 알고리즘
알고리즘은 학습을 하는 시스템인 에이전트가 최적의 행동 정책을 할 수 있도록 현재 환경과 상호 작용을 하는 프레임워크로 각 분야 별로 다양한 알고리즘이 있습니다.
대표적인 알고리즘으로 MCTS(몬테 카를로 트리 검색), Q-러닝, DQN 등이 있습니다.
- MCTS(몬테 카를로 트리 검색) : 장기적 계획 수립에 독보적인 효과를 보여주는 알고리즘으로 현재 상태에서 가장 가치가 높은 행동을 선택을 하고 그에 맞는 상태를 생성하여 가치를 평가하는 알고리즘입니다. 하지만 계산 비용이 높다는 것이 단점입니다.
- Q-러닝 : 에이전트가 학습하는 상태 및 행동에 대한 값을 Q-값으로 저장하고, 이를 기반으로 다음 행동을 하는 방법입니다. 한마디로 정의하자면 행동 가치 함수를 추정해서 최적의 결과를 도출하는 알고리즘입니다. 간단하고 효율적이지만 학습 속도가 느리다는 것이 단점입니다.
- DQN(Deep Q-Network) : Q-러닝 심화판이라고 보시면 됩니다. 딥러닝을 활용하여 Q-러닝을 수행하는 알고리즘으로 학습하는 방법을 인공 신경망을 활용하여 상태 및 행동에 대한 값을 Q-값으로 저장하고 이를 기반으로 다음 행동을 하는 방법입니다. 이러한 방법으로 경험한 모든 데이터를 저장하고 학습에 사용을 할 수 있습니다. 또한 학습 중인 네트워크와 별도의 네트워크를 사용하여 학습 안정성이 뛰어납니다. 하지만 많은 데이터가 필요합니다.
강화학습 특징
- 스스로 학습 : 강화학습은 에이전트가 스스로 학습하고 성장을 하기 때문에 인간의 개입이 필요 없습니다. 이로 인하여 인건 비용이 줄일 수 있고 다양한 환경과 상호작용을 하여 그에 맞는 최적의 방법을 찾아냅니다.
- 시행착오 학습 : 사람의 지도 없이 AI 스스로 다양하게 행동을 하고 최적의 방법을 찾아내기 때문에 더 높은 보상을 얻을 가능성이 높습니다.
- 보상 기반 학습 : 에이전트의 행동은 보상 또는 벌칙을 기반으로 학습을 하기 때문에 여러 번의 시행착오를 거처 목표에 가까워지면 행동이 강화되며, 목표에서 멀어지게 되면 벌칙으로 이러한 행동을 약화시킵니다.
- 일반화 : 강화학습으로 학습된 지식은 전이 학습 및 도메인 적응 등으로 다른 환경에서도 활용이 가능합니다.
- 이러한 특징으로 게임, 로봇, 의료, 금융 등 다양한 분야에 활용이 가능합니다.
인공지능 강화학습 단점
강화학습이 많은 도움이 되는 부분은 사실이지만 아직 해결해야 할 단점은 존재합니다.
- 데이터 요구량 : 강화학습은 데이터를 학습하여 움직이는 기술로 많은 데이터를 필요로 합니다. 그렇기 때문에 데이터를 수집을 하는데 많은 시간과 비용이 소요됩니다. 특히 DQN 알고리즘은 딥러닝을 활용을 하기 때문에 필수로 방대한 데이터셋이 필요합니다.
- 느린 학습 속도 : 환경이 복잡하면 할수록 학습을 하는데 오랜 시간이 필요합니다. 이를 해결하기 위해 다양한 알고리즘을 개발하고 있습니다.
- 안전성 : 강화학습 발전 단계는 초기 단계로 아직 안전성을 보장하기 힘듭니다. 그렇기 때문에 안전성이 매우 중요한 분야인 로봇 제어 같은 분야에서는 사용에 주의를 해야 합니다.
- 비용 : 강화학습은 고성능 컴퓨팅 환경 및 전문 기술이 필요로 하기 때문에 계산 비용이 높습니다.
- 이외에도 윤리적 문제 및 환경 모델 문제 등 다양한 단점이 있습니다. 하지만 이를 해결하기 위하여 계속 연구가 진행이 되고 있기 때문에 강화학습 기술의 발전과 함께 단점 또한 개선이 될 것입니다.
인공지능 강화학습 예제 3가지
알파고 : 인공지능 VS 인간 바둑대결
2016년 알파고와 이세돌의 바둑대결은 강화학습의 예제로 가장 유명합니다.
알파고는 딥마인드에서 개발한 강화학습 기반 인공지능 프로그램으로 당시 이세돌과 5번의 대결을 하였고 4승 1패로 승리를 거두었습니다.
이를 통하여 지능적인 부분에서 인공지능이 인간을 넘어설 수 있다는 사실을 알아냈습니다.
당시 알파고의 알고리즘은 몬테 카를로 트리 검색 알고리즘 과 딥러닝 기반 신경이었습니다.
몬테 카를로 트리 검색으로 현재 상황을 판단하여 가능한 행동 결과를 예측하고 신경망으로 데이터를 학습하여 다음 행동을 수행한 것입니다.
- 에이전트 : 알파고
- 환경 : 바둑
- 행동 : 바둑돌 놓기
- 보상 : 승리 & 패배
- 가치 함수 : 바둑판 상황에 대한 예상 승률
자율주행 로봇
현재 많은 기업들이 개발하고 있는 기술로 강화학습을 통해 주변 환경을 스스로 학습하고 최대한 안전한 경로를 찾아 이동하는 로봇입니다.
이는 센서 정보 및 행동, 결과를 기반으로 움직이기 때문에 물류, 제조, 의류 분야 등 다양하게 활용이 가능합니다.
하지만 아직 기초적이 단계만 가능하기 때문에 더욱 많은 개발이 필요합니다.
- 에이전트 : 자율주행 로봇
- 환경 : 주변 환경
- 행동 : 이동
- 보상 : 안전하게 목적지 도달
- 가치 함수 : 주변 환경 정보에 대한 예상 도달 시간 및 안전성
의료
기존 의료 방법으로도 사람의 과거 병력 및 검사 결과, 치료 경험 등을 찾아 최적의 치료 계획을 수립을 하지만 인간이 하는 작업이다 보니 실수가 있을 수 있습니다.
하지만 인공지능은 사람 과거 병력 등 다양한 정보를 기반으로 다양한 치료 시나리오를 시뮬레이션하고 가장 효과가 있고 부작용이 적은 치료 계획을 찾아내기 때문에 개인 맞춤형 치료 계획을 수립이 가능합니다.
하지만 개인정보를 취급하기 때문에 사람의 데이터 보안 및 개인정보 보호 문제 등이 있습니다.
- 에이전트 : 의료 시스템
- 환경 : 개인 건강 상태
- 행동 : 치료 계획 선택
- 보상 : 치료 성공, 부작용 감소
- 가치 함수 : 사람 정보에 대한 예상 치료 성공률 및 부작용
마치며
효과적인 인공지능 기술 발전을 위해서는 강화학습은 필수적입니다.
앞으로 미래는 강화학습 기술을 통해 더욱 자율적이고 똑똑해질 것이고 살기 좋아질 것입니다.
하지만 그만큼 많은 공부를 해야 합니다.
감사합니다.