[출처: 중앙일보] ‘왓슨’시대 되면 … 차트 분석보다 상담 잘하는 의사가 유리
“우울한 결과라고 생각하지 않았으면 좋겠습니다. 대처하기에 따라 미래에 훨씬 인간답게 일할 수 있는 기회가 열리는 겁니다.”
전문가들이 주는 미래 직업 팁
회계사·교사 등 복잡한 전문직도
인공지능·기계에 갈수록 일 내줘
창의·설득 등 인간 강점 잘 살려야
“대응 따라 인간답게 일할 기회 열려”
정부, 일시 실업 안전망 확충 숙제
기계의 직업별 역량 대체율을 연구한 박가열 한국고용정보원 연구위원은 “연구 결과를 잘 분석하면 우리 사회가 어떻게 인공지능 시대에 대처해야 할지가 보인다”고 말했다.
먼저 직업의 재배치를 통해 미래를 대비해야 한다. 연구결과에 따르면 2030년엔 경비원·기계조작원뿐 아니라 배관공·재봉사 같은 기술직, 법률 관련 사무원이나 경리 사무원 같은 사무직까지 인공지능 등으로 대체 가능하다. 박 위원은 “더 많은 업무가 로봇과 인공지능으로 자동화될 거란 건 분명한 사실”이라며 “해당 직업의 종사자들은 미래에 대해 더 많은 대비를 할 필요가 있다”고 말했다.
자동화가 대량 실업으로 이어질 확률은 낮다는 게 상당수 전문가들의 분석이다. 인공지능 학자인 제리 카플란 스탠퍼드대 교수가 대표적이다. 카플란 교수는 중앙일보와의 화상 인터뷰에서 “자동차와 계산기, 컴퓨터가 등장할 때마다 예외 없이 ‘엄청난 실업이 발생할 것’이라는 우려가 나왔지만 늘 새로운 기술로 인해 오히려 더 많은 직업이 생겨났다”며 “인공지능이 기존의 자동화 추세와 다르지 않다고 본다”고 말했다. 그는 또 “자동화로 당장 일자리를 잃은 사람들이 재교육을 통해 새로운 직업을 가질 수 있도록 지원하는 것, 이들이 일시적 실업에도 인간답게 살 수 있도록 사회안전망을 확충하는 것은 정부의 숙제”라고 지적했다. 다음으론 ‘일의 진화’, 즉 일의 질적 수준을 높여 직업 변화에 대처하는 방법이다.
박 위원은 “기계가 우세한 역량과 인간이 나은 역량을 비교해 보면 인간이 어떤 일에 집중해야 할지가 보인다”고 말했다. 예를 들어 2030년 기준 기계의 역량별 수준 예상치를 살펴보자. 기계는 기억력(6.33)과 선택적 집중력(6.1), 공간지각력(6.1), 신체적 강인성(5.86) 등이 특히 우수할 걸로 전망됐다. 반대로 설득(4.39)이나 협상(4.19), 정교한 동작(4.19)이나 창의력(3.33)은 기계가 대체적으로 떨어지는 분야다. 결국 기계를 앞서려면 인간은 창의성이나 소통 능력을 기르는 데 집중해야 한다는 얘기다.
전문가들은 “미래 일자리 시장은 기계와 인간이 각자 잘하는 분야를 맡는 방식으로 진화해 갈 것”이라고 말한다. 『전문직의 미래』의 저자인 대니얼 서스킨드 옥스퍼드대 교수는 “의사·변호사·교사·회계사 같이 복잡한 전문직도 갈수록 인공지능과 기계에 조금씩 일을 내주고 있다”며 “전문직들은 기계가 못하는 일을 맡는 쪽으로 무게중심을 옮기게 될 것”이라고 말했다.
박 위원은 구체적 직업을 예로 들며 일의 진화를 설명한다. “교수의 일 중 단순 지식을 전달하는 쪽은 갈수록 기계가 맡게 될 겁니다. 하지만 지식의 의미를 사회적 맥락에서 이해시키는 일은 사람만 할 수 있죠. 수학 교수라면 우리는 왜 이런 문제를 풀려고 노력하는지, 이런 수학적 지식을 어떻게 사회문제에 적용할 것인지 학생들과 토론해야 합니다.”
의사도 마찬가지다. 이미 암을 진단하는 인공지능 프로그램 ‘왓슨’이 국내 몇몇 병원에 도입돼 맹활약 중이다. 명의라면 많은 임상 사례를 통해 풍부한 경험을 확보한 의사를 일컬는다. 경험을 통해 오진이나 잘못된 처방을 내릴 확률을 줄이기 때문이다. 하지만 미래엔 명의의 정의도 바뀔 수 있다.
박 위원은 “빅데이터를 통해 엄청난 임상 사례를 암기하고 있는 인공지능의 도움을 받으면 대부분의 의사가 큰 실수 없이 환자의 병을 진단할 수 있게 된다. 의사는 환자와 더 많은 대화를 나누고, 환자가 생활습관을 바꾸도록 설득하는 쪽으로 일의 무게중심을 옮기게 될 것”이라고 말했다.
＂AI는 고급 계산기, 두려움 떨쳐야”
사회 전체가 일자리를 이런 방향으로 진화시키려면 인공지능에 대한 두려움을 떨쳐내는 게 먼저다. 김기응 KAIST 전산학부 교수는 “인공지능을 제대로 이해하는 사람들은 일자리 시장의 미래에 대해 큰 두려움을 느끼지 않는다”며 “인공지능은 일종의 고급 계산기에 불과하다”고 말했다.
“기계는 아무리 발전한다 해도 일일이 학습시켜줘야 해요. 또 여러 분야의 역량을 한데 묶는 통섭 능력을 갖추는 건 정말로 먼 미래가 될 거예요.” 김 교수는 “기계를 활용해 생산성을 높이는 사람과 기계와 비슷한 수준의 일만 반복하는 사람은 같은 직업이라도 갈수록 양극화될 것”이라고 강조했다.
[출처: 중앙일보] ‘왓슨’시대 되면 … 차트 분석보다 상담 잘하는 의사가 유리 2017.08.29
Aug 30, 2017
Aug 21, 2017
On-premises workloads have more security incidents than those in the public cloud
By Ian Barker
According to a new survey, workloads run on in-house systems suffer 51 percent more security incidents than those on public cloud services.
The study from cloud security and compliance company Alert Logic analyzed more 2 million security incidents captured by its intrusion detection systems over 18 months.
It finds customers running applications on public cloud platforms experienced an average 405 security incidents over the period while on-premises customers experienced 612. Hosted private cloud had a 69 percent higher incident rate (684) and hybrid cloud a worrying 141 percent higher (977).
But while the public cloud is relatively safe, the results show that web applications expose companies to risk. Web application attacks accounted for 73 percent of all the incidents flagged in the 18-month evaluation period. These attacks affected 85 percent of all Alert Logic customers, with code injection attacks, such as SQL injection, leading the pack.
Vulnerabilities in widely-used third-party web application components, insecure coding practices and increases in exploit automation make content management systems and e-Commerce platforms a rich hunting ground for hackers targeting web applications. Attacks targeting Joomla accounted for 25 percent of total web application attacks observed, followed by WordPress with 10 percent and Magento with 7 percent.
"We focused our analysis on incident types and the workloads and environments most at risk," says Misha Govshteyn, senior vice president of technical and product marketing at Alert Logic. "Cyber attackers continue to seek the weakest spots in network defenses and businesses need to understand how they are refocusing to take advantage of the changing attack landscape."
Among other findings are that server-side ransomware is relatively scarce, accounting for only two percent of total recorded incidents.
You can read more in the full report available from the Alert Logic website.
According to a new survey, workloads run on in-house systems suffer 51 percent more security incidents than those on public cloud services.
The study from cloud security and compliance company Alert Logic analyzed more 2 million security incidents captured by its intrusion detection systems over 18 months.
It finds customers running applications on public cloud platforms experienced an average 405 security incidents over the period while on-premises customers experienced 612. Hosted private cloud had a 69 percent higher incident rate (684) and hybrid cloud a worrying 141 percent higher (977).
But while the public cloud is relatively safe, the results show that web applications expose companies to risk. Web application attacks accounted for 73 percent of all the incidents flagged in the 18-month evaluation period. These attacks affected 85 percent of all Alert Logic customers, with code injection attacks, such as SQL injection, leading the pack.
Vulnerabilities in widely-used third-party web application components, insecure coding practices and increases in exploit automation make content management systems and e-Commerce platforms a rich hunting ground for hackers targeting web applications. Attacks targeting Joomla accounted for 25 percent of total web application attacks observed, followed by WordPress with 10 percent and Magento with 7 percent.
"We focused our analysis on incident types and the workloads and environments most at risk," says Misha Govshteyn, senior vice president of technical and product marketing at Alert Logic. "Cyber attackers continue to seek the weakest spots in network defenses and businesses need to understand how they are refocusing to take advantage of the changing attack landscape."
Among other findings are that server-side ransomware is relatively scarce, accounting for only two percent of total recorded incidents.
You can read more in the full report available from the Alert Logic website.
Aug 18, 2017
How Microsoft plans to turn Azure into an 'AI cloud'
Microsoft is forging ahead to make FPGA processing power available to external Azure developers for data-intensive tasks like deep-neural-networking tasks.
Microsoft社는 지난 수 년 간 자체 정보검색서비스인 Bing과 클라우드컴퓨팅 플랫폼인 Azure의 성능과 효율성을 증진시키기 위해 프로그램이 가능한 비메모리형 반도체의 일종인 FPGA (field-programmable gate arrays)를 사용해왔으나, 2018년 경에는 심층신경네트워크와 같은 인공지능을 포함해 자신의 고유의 임무를 수행할 수 있는 개발자들이 이용가능한 종류의 FPGA 처리능력을 제공하기 위한 계획을 추진하고 있는 것으로 나타나 관련 내용을 살펴보기로 한다.
Azure의 최고기술관리자인 Mark Russinovich씨는 자체 클라우드컴퓨팅을 통해 하드웨어 마이크로서비스를 제공하기 위한 큰 그림을 선보인 것으로 나타났는데, 일부 보안성과 몇몇 이슈들을 해결하고 난 이후에는 온전히 구성이 가능한 클라우드컴퓨팅을 보유하게 될 수 있을 것이라는 점을 언급한 것으로 나타났다. 이는 인공지능형태의 클라우드의 핵심이라 볼 수 있으며, 인공지능을 FPGA의 도움을 통해 민주화할 수 있는 주요한 발돋움으로 볼 수 있다는 점을 강조한 것으로 나타났다.
여기서 말하는 FPGA는 제조된 이후 고객 맞춤형태화할 수 있는 칩셋으로 Microsoft社의 연구진들은 약 10년 이상의 기간 동안 FPGA 환경에서 작업을 진행해왔으며, 최근 자체 Azure 서버들 모두와 Bing 인덱싱 서버 일부에 FPGA를 추가하는 공격적인 행보를 보이고 있는 것으로 나타났다. 특히 하드웨어 기반의 마이크로서비스는 Intel의 FPGA를 기반으로 운영되고 있으며, 해당 칩셋은 Microsoft社의 프레임워크와 결합되어 대용량 데이터작업에 부합되는 속도와 효율성을 제공하고 있다고 한다.
또한 프로젝트 Brainwave 를 통해 심층신경망네트워킹에 특화된 작업도 함께 진행하고 있는 것으로 나타났는데, 이 Brainwave는 FPGA기반 하드웨어의 마이크로서비스를 실행할 수 있는 딥러닝 플랫폼으로서 데이터센터와 인터넷 망에서 서비스형 하드웨어 가속을 가능하게 해주며, 필요한 수준의 FPGA를 신경망 네트워크 모델에 할당해주는 역할을 지원하고 있다고 한다.
비단 Microsoft社 외에도 Amazon과 Google 또한 인공지능 작업수행을 위해 고객맞춤형 실리콘을 사용하고 있는 것으로 나타났으며, 앞으로도 기술기반의 다양한 기업체들에서 인공지능과 딥러닝을 활용한 플랫폼이나 서비스 개발이 봇물을 이룰 것으로 예상되고 있다 하겠다.
Microsoft社는 지난 수 년 간 자체 정보검색서비스인 Bing과 클라우드컴퓨팅 플랫폼인 Azure의 성능과 효율성을 증진시키기 위해 프로그램이 가능한 비메모리형 반도체의 일종인 FPGA (field-programmable gate arrays)를 사용해왔으나, 2018년 경에는 심층신경네트워크와 같은 인공지능을 포함해 자신의 고유의 임무를 수행할 수 있는 개발자들이 이용가능한 종류의 FPGA 처리능력을 제공하기 위한 계획을 추진하고 있는 것으로 나타나 관련 내용을 살펴보기로 한다.
Azure의 최고기술관리자인 Mark Russinovich씨는 자체 클라우드컴퓨팅을 통해 하드웨어 마이크로서비스를 제공하기 위한 큰 그림을 선보인 것으로 나타났는데, 일부 보안성과 몇몇 이슈들을 해결하고 난 이후에는 온전히 구성이 가능한 클라우드컴퓨팅을 보유하게 될 수 있을 것이라는 점을 언급한 것으로 나타났다. 이는 인공지능형태의 클라우드의 핵심이라 볼 수 있으며, 인공지능을 FPGA의 도움을 통해 민주화할 수 있는 주요한 발돋움으로 볼 수 있다는 점을 강조한 것으로 나타났다.
여기서 말하는 FPGA는 제조된 이후 고객 맞춤형태화할 수 있는 칩셋으로 Microsoft社의 연구진들은 약 10년 이상의 기간 동안 FPGA 환경에서 작업을 진행해왔으며, 최근 자체 Azure 서버들 모두와 Bing 인덱싱 서버 일부에 FPGA를 추가하는 공격적인 행보를 보이고 있는 것으로 나타났다. 특히 하드웨어 기반의 마이크로서비스는 Intel의 FPGA를 기반으로 운영되고 있으며, 해당 칩셋은 Microsoft社의 프레임워크와 결합되어 대용량 데이터작업에 부합되는 속도와 효율성을 제공하고 있다고 한다.
또한 프로젝트 Brainwave 를 통해 심층신경망네트워킹에 특화된 작업도 함께 진행하고 있는 것으로 나타났는데, 이 Brainwave는 FPGA기반 하드웨어의 마이크로서비스를 실행할 수 있는 딥러닝 플랫폼으로서 데이터센터와 인터넷 망에서 서비스형 하드웨어 가속을 가능하게 해주며, 필요한 수준의 FPGA를 신경망 네트워크 모델에 할당해주는 역할을 지원하고 있다고 한다.
비단 Microsoft社 외에도 Amazon과 Google 또한 인공지능 작업수행을 위해 고객맞춤형 실리콘을 사용하고 있는 것으로 나타났으며, 앞으로도 기술기반의 다양한 기업체들에서 인공지능과 딥러닝을 활용한 플랫폼이나 서비스 개발이 봇물을 이룰 것으로 예상되고 있다 하겠다.
May 26, 2017
알파고, 바둑 말고 어디에 활용됐을까
데이터센터에 적용돼 다양한 분야서 활약
ZDnet, 손경호 기자 2017.05.24
알파고는 바둑만 잘하는 것일까?
지난해 이세돌 9단과 바둑대결에서 승리한 알파고가 23일 바둑 세계 랭킹 1위인 커제 9단과 맞붙는다.
커제 9단 스스로도 "지금 알파고가 인간에게 주는 느낌은 신선과 같다"며 "어려운 승부가 될 것"이라고 밝힌 만큼 인공지능(AI)의 수 읽기는 이전과 상상할 수 없을 만큼 정교해졌다.
그러나 알파고가 바둑만 잘하는 AI라고 보기는 힘들다.
지난해부터 올해 초까지 알파고에 활용된 딥러닝 기술 노하우는 산업 영역 곳곳에 녹아들기 시작했다.
알파고를 개발한 구글 자회사 딥마인드 데미스 하사비스 최고경영자(CEO)는 지난달 10일 인간 대 AI 바둑 리매치가 열리는 '바둑의 미래 서밋'을 소개하며 "알파고에 사용된 머신러닝 방식은 이미 에너지 절약, 의료 진단과 헬스케어 등 다양한 부문에서 중요한 문제를 해결하는 데 사용되고 있다"고 강조했다.
지난 1년 간 알파고에 쓰인 핵심 기술이 가장 빨리 적용된 곳은 구글 데이터센터다.
데이터센터는 컴퓨터가 연산하는 과정에서 많은 열을 발생시킨다. 때문에 냉각시설을 운영하는데 많은 에너지가 소비된다. 딥마인드는 자사 블로그를 통해 머신러닝 기술을 활용, 구글 데이터센터 냉각비용을 40%까지 절감할 수 있다고 밝혔다.
데이터센터 내 각종 장비는 날씨 등 외부환경과 상호작용한다. 엔지니어나 인간의 직관에만 의존해 냉각시설을 효율적으로 관리하기는 쉽지 않다. 더구나 데이터센터마다 독특한 아키텍처와 운영환경을 가진 만큼 이들 내부의 여러 프로세스에 대해서도 파악하고 있어야 한다.
머신러닝을 적용했을 때와 그렇지 않았을 때 구글 데이터센터 전력사용효율성(PUE) 측정값.(자료=딥마인드)
딥마인드가 개발한 머신러닝 기술은 데이터센터 내 수 천 개 센서로부터 온도, 전력량, 냉각펌프의 운영속도, 각종 설정값 등을 수집한 뒤 딥뉴럴네트워크에 학습시킨다. 이를 통해 미래 전력사용효율성(PUE)을 예측해 냉각비용을 최소화할 수 있는 방안을 찾아낸다. PUE는 전체 건물 에너지 사용량 중 IT 분야 에너지 사용량 비율을 말한다. 이와 함께 온도, 압력을 예측하는 또 다른 딥뉴럴네트워크도 활용했다.
헬스케어 분야도 딥마인드가 공들이는 분야 중 하나다. 영국 국민보건서비스(NHS)가 이 회사가 개발한 AI시스템을 활용, 지역이나 병원 내 특정 진료과에 상관없이 동일한 의료 서비스를 지원받을 수 있게 했다. AI시스템이 사전에 학습한 내용을 바탕으로 환자에 대한 초진을 빠르게 완료해 의사들이 어떤 부분을 중점으로 봐야하는지를 돕는다.
이와 함께 알파고가 프로 바둑기사들이 예상치 못했던 수를 던졌던 것처럼 다른 각도에서 서로 다른 증상 간 관계를 분석해 질병을 분서할 수 있게 도울 수도 있다. 딥마인드는 "AI시스템은 시간이 지날수록 (학습을 통해) 성능이 개선된다"고 강조했다.
로봇 분야에서 구글은 학습하는 로봇팔을 테스트하기도했다. IT매체 와이어드에 따르면 알파고에도 쓰인 강화학습이라는 머신러닝 기술을 활용했다. 특정한 임무를 수행하기 위해 실패를 반복하는 시행착오를 겪으면서 원하는 목표를 달성하게 할 수 있는 방법이다. 시연에서는 로봇팔이 계속 시도한 끝에 문고리를 잡아 문을 열었다. 스스로 문을 여는 방법을 습득한 것이다.
지난해 알파고는 1천202개 CPU, 176개 GPU를 탑재한 슈퍼컴퓨터를 통해 작동했다. 그러나 올해 커제와 맞붙는 알파고2.0은 구글이 자체 개발한 텐서프로세싱유닛(TPU)을 활용하고, 강화학습이 가지는 강점을 새로운 머신러닝 기법으로 훈련됐다.
새로운 알파고가 바둑 뿐만 아니라 전 산업영역에서 화두로 부상한 AI에 어떤 영향을 주게 될지 주목된다.
ZDnet, 손경호 기자 2017.05.24
알파고는 바둑만 잘하는 것일까?
지난해 이세돌 9단과 바둑대결에서 승리한 알파고가 23일 바둑 세계 랭킹 1위인 커제 9단과 맞붙는다.
커제 9단 스스로도 "지금 알파고가 인간에게 주는 느낌은 신선과 같다"며 "어려운 승부가 될 것"이라고 밝힌 만큼 인공지능(AI)의 수 읽기는 이전과 상상할 수 없을 만큼 정교해졌다.
그러나 알파고가 바둑만 잘하는 AI라고 보기는 힘들다.
지난해부터 올해 초까지 알파고에 활용된 딥러닝 기술 노하우는 산업 영역 곳곳에 녹아들기 시작했다.
알파고를 개발한 구글 자회사 딥마인드 데미스 하사비스 최고경영자(CEO)는 지난달 10일 인간 대 AI 바둑 리매치가 열리는 '바둑의 미래 서밋'을 소개하며 "알파고에 사용된 머신러닝 방식은 이미 에너지 절약, 의료 진단과 헬스케어 등 다양한 부문에서 중요한 문제를 해결하는 데 사용되고 있다"고 강조했다.
지난 1년 간 알파고에 쓰인 핵심 기술이 가장 빨리 적용된 곳은 구글 데이터센터다.
데이터센터는 컴퓨터가 연산하는 과정에서 많은 열을 발생시킨다. 때문에 냉각시설을 운영하는데 많은 에너지가 소비된다. 딥마인드는 자사 블로그를 통해 머신러닝 기술을 활용, 구글 데이터센터 냉각비용을 40%까지 절감할 수 있다고 밝혔다.
데이터센터 내 각종 장비는 날씨 등 외부환경과 상호작용한다. 엔지니어나 인간의 직관에만 의존해 냉각시설을 효율적으로 관리하기는 쉽지 않다. 더구나 데이터센터마다 독특한 아키텍처와 운영환경을 가진 만큼 이들 내부의 여러 프로세스에 대해서도 파악하고 있어야 한다.
머신러닝을 적용했을 때와 그렇지 않았을 때 구글 데이터센터 전력사용효율성(PUE) 측정값.(자료=딥마인드)
딥마인드가 개발한 머신러닝 기술은 데이터센터 내 수 천 개 센서로부터 온도, 전력량, 냉각펌프의 운영속도, 각종 설정값 등을 수집한 뒤 딥뉴럴네트워크에 학습시킨다. 이를 통해 미래 전력사용효율성(PUE)을 예측해 냉각비용을 최소화할 수 있는 방안을 찾아낸다. PUE는 전체 건물 에너지 사용량 중 IT 분야 에너지 사용량 비율을 말한다. 이와 함께 온도, 압력을 예측하는 또 다른 딥뉴럴네트워크도 활용했다.
헬스케어 분야도 딥마인드가 공들이는 분야 중 하나다. 영국 국민보건서비스(NHS)가 이 회사가 개발한 AI시스템을 활용, 지역이나 병원 내 특정 진료과에 상관없이 동일한 의료 서비스를 지원받을 수 있게 했다. AI시스템이 사전에 학습한 내용을 바탕으로 환자에 대한 초진을 빠르게 완료해 의사들이 어떤 부분을 중점으로 봐야하는지를 돕는다.
이와 함께 알파고가 프로 바둑기사들이 예상치 못했던 수를 던졌던 것처럼 다른 각도에서 서로 다른 증상 간 관계를 분석해 질병을 분서할 수 있게 도울 수도 있다. 딥마인드는 "AI시스템은 시간이 지날수록 (학습을 통해) 성능이 개선된다"고 강조했다.
로봇 분야에서 구글은 학습하는 로봇팔을 테스트하기도했다. IT매체 와이어드에 따르면 알파고에도 쓰인 강화학습이라는 머신러닝 기술을 활용했다. 특정한 임무를 수행하기 위해 실패를 반복하는 시행착오를 겪으면서 원하는 목표를 달성하게 할 수 있는 방법이다. 시연에서는 로봇팔이 계속 시도한 끝에 문고리를 잡아 문을 열었다. 스스로 문을 여는 방법을 습득한 것이다.
지난해 알파고는 1천202개 CPU, 176개 GPU를 탑재한 슈퍼컴퓨터를 통해 작동했다. 그러나 올해 커제와 맞붙는 알파고2.0은 구글이 자체 개발한 텐서프로세싱유닛(TPU)을 활용하고, 강화학습이 가지는 강점을 새로운 머신러닝 기법으로 훈련됐다.
새로운 알파고가 바둑 뿐만 아니라 전 산업영역에서 화두로 부상한 AI에 어떤 영향을 주게 될지 주목된다.
Jan 26, 2017
서버리스(Serverless)가 온다!
지난 칼럼 '클라우드 기술에 대한 세가지 패러다임 변화'에서 ‘서버 없는 클라우드 함수의 등장’이라는 변화를 소개했다. 이러한 새로운 패러다임은 개발자들에게 큰 수고와 비용 없이도 좀 더 빠르고 민첩하게 다양한 애플리케이션을 만들고, 서비스 운용을 위한 확장성 및 가용성에 대한 수고와 비용을 없애는 방향으로 바뀌고 있다.
이러한 변화를 가장 극적으로 보여준 것이 바로 지난 5월말 뉴욕에서 있었던 서버리스컨퍼런스(Serverless Conference)다. 일반적으로, 회자되는 기술의 유행 방식은 선두 주자가 혁신적인 서비스를 내면, 경쟁적으로 유사한 서비스가 만들어지고, 오픈 소스로 된 관련 도구가 증가하면서 개발자들이 여기에 동조하고, 콘퍼런스에서 다 같이 만나는 패턴인데,이는과거에도 종종 있었다.
2014년 AWS람다(Lambda)가 이러한 개념을 처음 선 보인 이후로, 많은 클라우드 업체들이 이를 벤치마킹한 서비스를 줄줄이 내놓고 있다. 많은 개발자들은 관련된 코드 예제들을 오픈 소스로 공개하고, 급기야는 Serverless FRAMEwork, CloudiaJS 같은 서버리스 오픈 소스 개발 프레임워크가 계속 나오고 있다. AWS에서 Lambda와 API Gateway 서비스 개발을 총괄하고 있는 팀 와그너(Tim Wagner)는 서버리스 콘퍼런스키노트 발표에 앞서 물리 서버를 부숴버리는 상징적인 퍼포먼스를 보여 주기도 했다.
물리적 서버를 부수는 퍼포먼스를 하고 있는 팀 와그너? 출처: @samkroon
■ Serverless != No Server
물론 서버리스(Serverless)라는 말 자체가 서버가 필요 없다는 뜻은 아니다. 클라우드에서도 서버는 존재하고 있고, 다만 고객이 스스로 관리해야 하는 서버 혹은 콘테이너가제로(0)에 수렴한다는 의미다. 따라서, 서버리스란 오로지 이벤트에 따라 동작하는 클라우드 기반의 나노 수준 (최근 회자되는 마이크로서비스가 가진 크기를 생각해서) 서비스 단위의프로그램 코드만을 개발하고 배포에 집중한다는 의미이다. 기존의 PaaS(Platform as a Service)는 복잡한 모놀리식(Monolithic) 애플리케이션을 지원했다는 점에서, 무상태(Stateless)는 서버리스의특징과 대비된다.
이유는 간단하다. 더 빠르게 움직이기 위해서다. 이러한 특징은 인프라 설치, 운용, 확장성 고려, 복잡한 배포 및 모니터링 등 많은 관리 업무를 줄이고, 민첩하게 만들고 배포하려는 회사 혹은 팀에게 적합하다.
예를 들어, AWS Lambda는 가장 선두에 있는 서비스로서 Node.js, Java, Python 코드를 올리기만 하면, 코드가 실행될 때 마다 5분 안에 실행하면서 100ms 단위로 과금한다. 다른 AWS 서비스의 이벤트를 처리(예를 들면, Amazon S3에 이미지가 올라오면 썸네일을 만드는 기능을 동작)하거나, Amazon API Gateway로 들어오는 HTTP 요청에 대해서도 실행할 수 있다. 올려진 코드에 대한 버전 기능, 배치 작업을 위한 Cron 기능등을 제공하고, 매월 100만 밀리세컨드에 대해 무료로 제공하기에 테스트 개발에도 적합하다.
모바일 앱을 위한 서버없는백엔드 아키텍처 사례(출처: AWS 한국 공식 블로그) 모바일 앱을 위한 서버없는백엔드 아키텍처 사례(출처: AWS 한국 공식 블로그)
모바일 앱을 위한 서버없는백엔드 아키텍처 사례(출처: AWS 한국 공식 블로그)
따라서, Amazon API Gateway와 AWS Lambda를 조합하고, 여기에 Amazon 기존 서비스를 연계해서 새로운 아키텍처를 구성할 수 있는데, 이것을 소위 ‘서버리스 아키텍처’라고 부르고 있다. (마치 다양한 요리를 할 때 필요한 재료가 필요한 것처럼, AWS는 최소 단위(primitives)라고 부르는 다양한 서비스로 만들고, 개발자들이 이를 자유롭게 조합하여, 새로운 아키텍처를 설계 구성하도록 하는 서비스 철학을 가지고 있다)
■ 진화하는 서버리스 개발 생태계
서버리스 아키텍처나 프레임워크는아직 초기 단계다. 해결해야 할 사항도 적지 않다. 예를 들어, 기존 서버 기반 SW 플랫폼 개발 프레임워크만큼, 통합 개발 환경(IDE)나 테스팅, 디버깅이 편리하지 않다. 개별 클라우드 함수의 크기나 성능에 따른 메모리 사이징(그에 따른 CPU 및 네트워크 사용량) 및 함수 기능을 어디까지 세분화 할 것인가에 대한 기준도 명확하지 않다.
이런 부분은 서버리스 아키텍처에 대한 다양한 논의가 진행되고, 개발자 생태계가 커지면서 각종 지원 개발 도구가 나온다면 자연스럽게 해결될문제라고 생각한다.
하지만, 가장우선적으로서버리스에 대한 개념과 목적을 명확하게 하는 것이 중요하다. 못을 박기 위한 도구인 망치를 가지고, 음식을 만들려는 우를 범하지 않기 위해서다. 팀 와그너는서버리스 콘퍼런스키노트 중 아래와 같이서버리스선언문(Serverless Manifesto)을 소개하였다.
함수(Function)가 서비스의 기본 배포 및 확장 단위이다.
프로그래밍 모델에서 물리 서버, 가상 서버 및 콘테이너에 대한 의존성을 제거하라
데이터 스토리지는 어딘가 무제한으로 있다고(사용한다고) 가정하라
사용자가 아닌 오로지 요청(Request)에 대해서만 확장하라
요청이 없는데 돈을 낼 필요가 없다(가상 서버나 콘테이너도 여전히 비효율적이다).
함수의 실행은 어디서나 가능하므로, 장애 복원력을 가지도록 만들어라
BYOC(Bring your own code) ?나만의 서비스를 책임지고 만들 수 있다!
통계 수집 및 로그 취득은 보편적인 필수 사항이다.
이와 함께 Flourish라는 오프 소스 서버리스 프레임워크를 곧 공개할 것이라고 밝혔다. 이 프레임워크는 마이크로 서비스의 형식을 정의하고, 기존 IDE와 통합하여 빌드 및 ZIP 파일 기반 배포를 할 뿐만 아니라 하나의 대시보드에서 모니터링 및 요금 집계가 가능한 현실적인 서비스 기능을 통합 할 예정이다. 또한 프로그램 코드와 버전 설정을 조합에 의한 일관된 롤백 기능도 제공한다. 벤더 중립적인 API 서비스 참조 역할도 하면서, 코드 작성 및 배포에만 집중되어 있는 기존 프레임워크의 대안이 될 수 있을 것이다.
Flourish가 중립적인 프레임워크로 자리잡더라도 다른 클라우드 업체들도 비슷한 수준의 서버리스 프레임워크를 내놓을 가능성이 높다. 기존의 개발자 커뮤니티에서 만들어지는 프레임워크 역시 생태계 확대에 이바지할 것으로 예상된다.
■ 서버리스의 대중화의 필수 조건은?
서버리스 개발 생태계 확대를 위해서는 기존 벤더 기반 서버리스 컴퓨팅 환경과 스토리지 서비스에서 개발자 생태계 기반 프레임워크와 개발 도구의 제공이 확대되는 단계도 중요하다.하지만 궁극적으로 서버리스 킬러 응용 프로그램(Killer Application)이 나와야 한다.
최근에 Slack을 기반으로 하는 채팅봇애플리케이션이나 Amazon Echo와 Alexa 그리고 AWS Lambda를이용한음성인식서버리스 애플리케이션이 늘어나는 것은 고무적인 현상이다. 테크크런치기사에서 언급한, Amazon Echo의 음성 인식 API인 Alexa Skills과 AWS Lambda를 이용한 앱(Skills)이 연초 135여개에서 1,000여개로 늘어났다는 것이 바로 그러한 예이다.
AWS Lambda의 이용 사례도 극적으로 늘고 있다. 여성 패션 사이트인 Bustie는 수백만의 사용자가 방문하는 웹 사이트를 Amazon S3 기반으로 만들고 필요시 동적 데이터를 Lambda로 처리한다. 광고 리타게팅 플랫폼인 AdRoll 역시 매달 300TB의 압축 데이터를 S3에 저장하는데, 호출 데이터 저장 시 Lambda를 사용한다. 실시간 동영상 인코딩 업체로 유명해진 스타트업인 Periscope는 포르노 같은 유해 영상인지 여부를 3초 단위로 파악해서 차단하는 기능에 Lambda를 이용한다.
AWS Lambda의 실제 활용 사례? 출처: AWS Summit Seoul키노트 중
특히, 데이터 분석 영역에서 Lambda 사용도 두드러진다. FireEye는 Lambda를 이용하여 침입 탐지 시스템을 만들었는데, 기존에 맵리듀스(MapReduce) 기능을 Lambda 함수로 바꾸고, S3에 저장하는 새로운 아이디어를 내기도 했다.국내에서도 비트패킹컴퍼니가 음악 재생 시 광고 노출 데이터를 실시간으로 처리하기 위해 Lambda를 통해 Amazon Kinesis로 보내고, 이를 S3에 저장하거나Amazon Elasticsearch Service와 Kibana를 통해 분석 대시 보드를 만드는 서버가전혀없는원스톱분석서비스를 만들어 발표하기도 했다.
향후서버리스 아키텍처를 위한 생태계에서 필요한 것은 매우 많다. 클라우드 함수에 대한 지속적인 통합 및 배포(CI/CD) 지원, IDE 플러그인, 테스트 프레임워크는 가장 필수적이다. React 같은 현대적 웹 앱 프레임워크와의 연동 및 원활한 동영상 및 파일 처리, 사물 인터넷과의 연동, 이를 엔터프라이즈급 업무에서도 활용할 수 있는 다양한 사례를 발굴하는 것 역시 중요한 과제다.
마지막으로 무엇 보다 중요한 것은 개발자들의호기심이다. 항상 성공하는 기술은 낮은 진입 장벽에서, 호기심을 가진 기술 관심자들의참여로 이루어진다. 과거 모바일앱생태계 초기를 돌아보면, 개발자가 부업으로 만든 앱들이 대박을 친 경우가 많았다. 서버리스 아키텍처도 과거 수많은 고민을 해야했던 많은 장벽을 없애 줌으로써새로운아이디어를 시작해 볼 수 있고, 성공도 예측해 볼 수 있다. 누가 아는가? 내가 만든 작은 API가 유료로도 서비스할 수 있는 대박 서비스가 될지…
기업에서도 복잡한 문제 해결에 대한 가장 단순한 해법을 찾고, 기존 레거시를 혁신하기 위해 이를 직접 만들어 보는 개발자와 기업에게 미래가 있다. 만약 이를적용 하면 회사의 기존 사업이 망할 것 같고, 나의 일이 없어지는 내부적인 파괴(Disruption)를 일으킬 것 같은 기술처럼 보이는가? 서버리스 아키텍처를 바라보는 IT개발자의 우려와 벤더의 시각도 이와 다르지 않다.그렇다면 지금 당장 시도해야 한다.“미래는 이미 가까이에 와 있다. 다만 널리 퍼지지 않았을 뿐(The future is already here-it's just not very evenly distributed.-윌리암 깁슨)”이라는 말을 다시 새겨볼 때다.
원문보기:
http://www.zdnet.co.kr/column/column_view.asp?artice_id=20160614172904#csidx8c46e4e1087c35f8e14c0b57e8295cf
이러한 변화를 가장 극적으로 보여준 것이 바로 지난 5월말 뉴욕에서 있었던 서버리스컨퍼런스(Serverless Conference)다. 일반적으로, 회자되는 기술의 유행 방식은 선두 주자가 혁신적인 서비스를 내면, 경쟁적으로 유사한 서비스가 만들어지고, 오픈 소스로 된 관련 도구가 증가하면서 개발자들이 여기에 동조하고, 콘퍼런스에서 다 같이 만나는 패턴인데,이는과거에도 종종 있었다.
2014년 AWS람다(Lambda)가 이러한 개념을 처음 선 보인 이후로, 많은 클라우드 업체들이 이를 벤치마킹한 서비스를 줄줄이 내놓고 있다. 많은 개발자들은 관련된 코드 예제들을 오픈 소스로 공개하고, 급기야는 Serverless FRAMEwork, CloudiaJS 같은 서버리스 오픈 소스 개발 프레임워크가 계속 나오고 있다. AWS에서 Lambda와 API Gateway 서비스 개발을 총괄하고 있는 팀 와그너(Tim Wagner)는 서버리스 콘퍼런스키노트 발표에 앞서 물리 서버를 부숴버리는 상징적인 퍼포먼스를 보여 주기도 했다.
물론 서버리스(Serverless)라는 말 자체가 서버가 필요 없다는 뜻은 아니다. 클라우드에서도 서버는 존재하고 있고, 다만 고객이 스스로 관리해야 하는 서버 혹은 콘테이너가제로(0)에 수렴한다는 의미다. 따라서, 서버리스란 오로지 이벤트에 따라 동작하는 클라우드 기반의 나노 수준 (최근 회자되는 마이크로서비스가 가진 크기를 생각해서) 서비스 단위의프로그램 코드만을 개발하고 배포에 집중한다는 의미이다. 기존의 PaaS(Platform as a Service)는 복잡한 모놀리식(Monolithic) 애플리케이션을 지원했다는 점에서, 무상태(Stateless)는 서버리스의특징과 대비된다.
이유는 간단하다. 더 빠르게 움직이기 위해서다. 이러한 특징은 인프라 설치, 운용, 확장성 고려, 복잡한 배포 및 모니터링 등 많은 관리 업무를 줄이고, 민첩하게 만들고 배포하려는 회사 혹은 팀에게 적합하다.
예를 들어, AWS Lambda는 가장 선두에 있는 서비스로서 Node.js, Java, Python 코드를 올리기만 하면, 코드가 실행될 때 마다 5분 안에 실행하면서 100ms 단위로 과금한다. 다른 AWS 서비스의 이벤트를 처리(예를 들면, Amazon S3에 이미지가 올라오면 썸네일을 만드는 기능을 동작)하거나, Amazon API Gateway로 들어오는 HTTP 요청에 대해서도 실행할 수 있다. 올려진 코드에 대한 버전 기능, 배치 작업을 위한 Cron 기능등을 제공하고, 매월 100만 밀리세컨드에 대해 무료로 제공하기에 테스트 개발에도 적합하다.
모바일 앱을 위한 서버없는백엔드 아키텍처 사례(출처: AWS 한국 공식 블로그) 모바일 앱을 위한 서버없는백엔드 아키텍처 사례(출처: AWS 한국 공식 블로그)
■ 진화하는 서버리스 개발 생태계
서버리스 아키텍처나 프레임워크는아직 초기 단계다. 해결해야 할 사항도 적지 않다. 예를 들어, 기존 서버 기반 SW 플랫폼 개발 프레임워크만큼, 통합 개발 환경(IDE)나 테스팅, 디버깅이 편리하지 않다. 개별 클라우드 함수의 크기나 성능에 따른 메모리 사이징(그에 따른 CPU 및 네트워크 사용량) 및 함수 기능을 어디까지 세분화 할 것인가에 대한 기준도 명확하지 않다.
이런 부분은 서버리스 아키텍처에 대한 다양한 논의가 진행되고, 개발자 생태계가 커지면서 각종 지원 개발 도구가 나온다면 자연스럽게 해결될문제라고 생각한다.
하지만, 가장우선적으로서버리스에 대한 개념과 목적을 명확하게 하는 것이 중요하다. 못을 박기 위한 도구인 망치를 가지고, 음식을 만들려는 우를 범하지 않기 위해서다. 팀 와그너는서버리스 콘퍼런스키노트 중 아래와 같이서버리스선언문(Serverless Manifesto)을 소개하였다.
함수(Function)가 서비스의 기본 배포 및 확장 단위이다.
프로그래밍 모델에서 물리 서버, 가상 서버 및 콘테이너에 대한 의존성을 제거하라
데이터 스토리지는 어딘가 무제한으로 있다고(사용한다고) 가정하라
사용자가 아닌 오로지 요청(Request)에 대해서만 확장하라
요청이 없는데 돈을 낼 필요가 없다(가상 서버나 콘테이너도 여전히 비효율적이다).
함수의 실행은 어디서나 가능하므로, 장애 복원력을 가지도록 만들어라
BYOC(Bring your own code) ?나만의 서비스를 책임지고 만들 수 있다!
통계 수집 및 로그 취득은 보편적인 필수 사항이다.
이와 함께 Flourish라는 오프 소스 서버리스 프레임워크를 곧 공개할 것이라고 밝혔다. 이 프레임워크는 마이크로 서비스의 형식을 정의하고, 기존 IDE와 통합하여 빌드 및 ZIP 파일 기반 배포를 할 뿐만 아니라 하나의 대시보드에서 모니터링 및 요금 집계가 가능한 현실적인 서비스 기능을 통합 할 예정이다. 또한 프로그램 코드와 버전 설정을 조합에 의한 일관된 롤백 기능도 제공한다. 벤더 중립적인 API 서비스 참조 역할도 하면서, 코드 작성 및 배포에만 집중되어 있는 기존 프레임워크의 대안이 될 수 있을 것이다.
Flourish가 중립적인 프레임워크로 자리잡더라도 다른 클라우드 업체들도 비슷한 수준의 서버리스 프레임워크를 내놓을 가능성이 높다. 기존의 개발자 커뮤니티에서 만들어지는 프레임워크 역시 생태계 확대에 이바지할 것으로 예상된다.
■ 서버리스의 대중화의 필수 조건은?
서버리스 개발 생태계 확대를 위해서는 기존 벤더 기반 서버리스 컴퓨팅 환경과 스토리지 서비스에서 개발자 생태계 기반 프레임워크와 개발 도구의 제공이 확대되는 단계도 중요하다.하지만 궁극적으로 서버리스 킬러 응용 프로그램(Killer Application)이 나와야 한다.
최근에 Slack을 기반으로 하는 채팅봇애플리케이션이나 Amazon Echo와 Alexa 그리고 AWS Lambda를이용한음성인식서버리스 애플리케이션이 늘어나는 것은 고무적인 현상이다. 테크크런치기사에서 언급한, Amazon Echo의 음성 인식 API인 Alexa Skills과 AWS Lambda를 이용한 앱(Skills)이 연초 135여개에서 1,000여개로 늘어났다는 것이 바로 그러한 예이다.
AWS Lambda의 이용 사례도 극적으로 늘고 있다. 여성 패션 사이트인 Bustie는 수백만의 사용자가 방문하는 웹 사이트를 Amazon S3 기반으로 만들고 필요시 동적 데이터를 Lambda로 처리한다. 광고 리타게팅 플랫폼인 AdRoll 역시 매달 300TB의 압축 데이터를 S3에 저장하는데, 호출 데이터 저장 시 Lambda를 사용한다. 실시간 동영상 인코딩 업체로 유명해진 스타트업인 Periscope는 포르노 같은 유해 영상인지 여부를 3초 단위로 파악해서 차단하는 기능에 Lambda를 이용한다.
특히, 데이터 분석 영역에서 Lambda 사용도 두드러진다. FireEye는 Lambda를 이용하여 침입 탐지 시스템을 만들었는데, 기존에 맵리듀스(MapReduce) 기능을 Lambda 함수로 바꾸고, S3에 저장하는 새로운 아이디어를 내기도 했다.국내에서도 비트패킹컴퍼니가 음악 재생 시 광고 노출 데이터를 실시간으로 처리하기 위해 Lambda를 통해 Amazon Kinesis로 보내고, 이를 S3에 저장하거나Amazon Elasticsearch Service와 Kibana를 통해 분석 대시 보드를 만드는 서버가전혀없는원스톱분석서비스를 만들어 발표하기도 했다.
향후서버리스 아키텍처를 위한 생태계에서 필요한 것은 매우 많다. 클라우드 함수에 대한 지속적인 통합 및 배포(CI/CD) 지원, IDE 플러그인, 테스트 프레임워크는 가장 필수적이다. React 같은 현대적 웹 앱 프레임워크와의 연동 및 원활한 동영상 및 파일 처리, 사물 인터넷과의 연동, 이를 엔터프라이즈급 업무에서도 활용할 수 있는 다양한 사례를 발굴하는 것 역시 중요한 과제다.
마지막으로 무엇 보다 중요한 것은 개발자들의호기심이다. 항상 성공하는 기술은 낮은 진입 장벽에서, 호기심을 가진 기술 관심자들의참여로 이루어진다. 과거 모바일앱생태계 초기를 돌아보면, 개발자가 부업으로 만든 앱들이 대박을 친 경우가 많았다. 서버리스 아키텍처도 과거 수많은 고민을 해야했던 많은 장벽을 없애 줌으로써새로운아이디어를 시작해 볼 수 있고, 성공도 예측해 볼 수 있다. 누가 아는가? 내가 만든 작은 API가 유료로도 서비스할 수 있는 대박 서비스가 될지…
기업에서도 복잡한 문제 해결에 대한 가장 단순한 해법을 찾고, 기존 레거시를 혁신하기 위해 이를 직접 만들어 보는 개발자와 기업에게 미래가 있다. 만약 이를적용 하면 회사의 기존 사업이 망할 것 같고, 나의 일이 없어지는 내부적인 파괴(Disruption)를 일으킬 것 같은 기술처럼 보이는가? 서버리스 아키텍처를 바라보는 IT개발자의 우려와 벤더의 시각도 이와 다르지 않다.그렇다면 지금 당장 시도해야 한다.“미래는 이미 가까이에 와 있다. 다만 널리 퍼지지 않았을 뿐(The future is already here-it's just not very evenly distributed.-윌리암 깁슨)”이라는 말을 다시 새겨볼 때다.
원문보기:
http://www.zdnet.co.kr/column/column_view.asp?artice_id=20160614172904#csidx8c46e4e1087c35f8e14c0b57e8295cf
Subscribe to:
Posts (Atom)