쓰라린 종교: 팽창의 법칙을 둘러싼 인공지능의 성스러운 전쟁

마리오 가브리엘의 기사블록 유니콘이 편집한 기사

인공지능의 지하드

나는 신이 없는 것처럼 인생을 살다가 신이 존재하지 않는다는 것을 알 때까지 기다리는 것보다 신이 있는 것처럼 인생을 살다가 죽어서야 신이 존재한다는 것을 알게 되기를 차라리 원한다. -- 블레이즈 파스칼

종교는 재미있는 것입니다. 어떤 방향으로도 증명할 수 없기 때문일 수도 있고, 제가 가장 좋아하는 명언 중 하나인 "사실과 감정은 싸울 수 없다."와 같은 말 때문일 수도 있습니다.

종교적 신념의 문제는 신념이 높아질수록 놀라운 속도로 가속화되어 신의 존재를 의심하는 것이 거의 불가능해진다는 것입니다. 주변 사람들이 점점 더 신을 믿는다면 어떻게 신적인 존재를 의심할 수 있을까요? 세상이 하나의 교리를 중심으로 재편될 때 이단의 여지는 어디에 있을까요? 성전과 성당, 법과 규범이 새롭고 흔들리지 않는 복음에 따라 정리될 때 반대의 여지가 어디에 있을까요?

아브라함의 종교가 처음 등장하여 여러 대륙으로 퍼졌을 때나 불교가 인도에서 아시아 전역으로 퍼졌을 때, 엄청난 신앙의 기세는 자기 강화의 순환을 일으켰습니다. 더 많은 사람들이 개종하고 이러한 신앙을 중심으로 복잡한 신학 체계와 의식이 구축되면서 이러한 기본 전제에 의문을 제기하는 것은 점점 더 어려워졌습니다. 속기 쉬운 바다에서 이단자가 되는 것은 쉽지 않습니다. 웅장한 교회, 복잡한 종교 텍스트, 번성하는 수도원은 신의 존재에 대한 물리적 증거로 작용했습니다.

정경

신은 모든 수준의 지적 사고를 초월하는 은유입니다. 그렇게 간단합니다. -조셉 캠벨

단순히 말해서, 신을 믿는 것은 종교입니다. 어쩌면 신을 창조하는 것도 다르지 않을지도 모릅니다.

낙관적인 AI 연구자들은 처음부터 자신들의 연구를 창조론, 즉 신의 창조로 상상해 왔습니다. 지난 몇 년 동안 대규모 언어 모델(LLM)이 폭발적으로 증가하면서 우리가 신의 길을 가고 있다는 믿음이 더욱 확고해졌습니다.

2019년에 작성된 블로그 게시물에서도 확인할 수 있습니다. 캐나다의 컴퓨터 과학자 리처드 서튼의 '쓴 교훈'은 최근까지 AI 분야 외부의 사람들은 몰랐지만, 커뮤니티에서 점점 더 중요한 텍스트가 되어 숨겨진 지식에서 점차 모든 것을 포괄하는 새로운 종교의 기초로 발전하고 있습니다.

1,113단어(모든 종교가 신성시하는 숫자)로 기술적인 관찰을 요약하면, "70년간의 AI 연구를 통해 얻을 수 있는 가장 큰 교훈은 계산을 활용하는 범용 접근법이 궁극적으로 가장 효과적이고 큰 이점이 있다는 것입니다."라고 Sutton은 말합니다. " AI 모델의 발전은 무어의 법칙이라는 거대한 물결을 타고 컴퓨팅 리소스의 기하급수적인 증가에 힘입어 이루어졌습니다. 동시에 서튼은 AI 연구의 많은 부분이 인간의 지식이나 좁은 도구를 추가하는 등 전문화된 기술을 통해 성능을 최적화하는 데 초점을 맞춰왔다고 지적합니다. 이러한 최적화는 단기적으로는 도움이 될 수 있지만, 서핑보드의 핀을 조정하거나 큰 파도가 다가올 때 새로운 왁스를 시도하는 것처럼 궁극적으로는 시간과 자원 낭비라는 것이 서튼의 견해입니다.

이것이 바로 우리가 '괴로움의 종교'라고 부르는 것의 기초입니다. 커뮤니티에서 흔히 '확장의 법칙'이라고 불리는 단 하나의 계명, 즉 기하급수적으로 증가하는 컴퓨팅이 성능을 주도하고 나머지는 어리석다는 것입니다.

비통함의 종교는 대규모 언어 모델(LLM)에서 세계 모델로 확장되었으며, 이제 생물학, 화학, 구현 지능(로봇 공학 및 자율 주행 차량)이라는 아직 변하지 않은 신성한 전당을 통해 빠르게 퍼져나가고 있습니다.

그러나 서튼 독트린이 확산되면서 그 정의가 바뀌기 시작합니다. 이것은 논쟁, 확장, 주석 등 모든 활동적이고 활기찬 종교의 특징입니다. 더 이상 "법칙의 확장"은 단순히 계산의 확장을 의미하는 것이 아니라(방주는 단순한 배 그 이상이었음), 이제 변압기와 계산 성능을 개선하기 위해 고안된 다양한 방법을 의미하며, 여기에 몇 가지 트릭이 적절히 가미되어 있습니다.

클래식은 이제 AI 스택의 모든 부분을 최적화하려는 시도를 포괄하며, 코어에 적용하는 것부터 코어에 이르기까지 모든 부분을 최적화하려는 시도를 포함합니다. 여기에는 핵심 모델 자체에 적용되는 기술(모델 병합, 전문가 혼합(MoE), 지식 정제)부터 끊임없이 배고픈 신에게 먹이를 주는 합성 데이터 생성에 이르기까지 AI 스택의 모든 부분을 최적화하려는 시도와 그 사이에 많은 실험이 포함됩니다.

전쟁하는 종파

최근 인공지능 커뮤니티에서 지하드 냄새와 함께 떠오르고 있는 질문 중 하나는 '비열한 종교'가 여전히 유효한지 여부입니다. "이 여전히 사실인가 하는 것입니다.

이번 주 하버드, 스탠포드, 그리고 MIT는 "정확성 확장의 법칙"이라는 제목의 새로운 논문을 발표하여 갈등을 촉발시켰습니다. 이 논문은 AI 모델의 성능을 향상시키고 오픈 소스 생태계에 큰 혜택을 준 일련의 기술인 양자화에서 효율성 향상의 종말에 대해 논의합니다. 앨런 인공 지능 연구소의 연구 과학자인 팀 데트머스는 아래 게시물에서 "오랜만에 나온 가장 중요한 논문"이라며 이 논문의 중요성을 설명합니다. 이 논문은 지난 몇 주 동안 뜨거워진 대화의 연속이며, 주목할 만한 추세, 즉 두 종교의 입지가 점점 더 공고해지고 있음을 보여줍니다.

OpenAI CEO Sam. Altman과 Anthropic의 CEO Dario Amodei는 같은 교단 소속입니다. 두 사람 모두 향후 2~3년 내에 범용 인공지능(AGI)을 실현할 수 있다고 확신하고 있으며, 알트만과 아모데이는 '쓴맛의 종교'의 신성함에 가장 크게 의존하는 인물 중 한 명입니다. 이들의 모든 인센티브는 규모의 경제가 거의 전적으로 지배하는 게임에서 자본을 축적하기 위해 과대 약속을 하고 최대한의 과대 광고를 만들어내는 경향이 있습니다. 규모의 법칙이 "알파와 오메가", 시작과 끝, 시작과 끝이 아니라면 220억 달러가 필요한 이유는 무엇일까요?

OpenAI의 전 수석 과학자 일리아 수츠케버는 다른 규칙을 고수하고 있습니다. 수츠케버는 다른 원칙을 고수하고 있습니다. 그는 다른 연구원들(최근 유출된 정보에 따르면 OpenAI 내부의 많은 연구원 포함)과 함께 확장이 상한선에 가까워지고 있다고 믿습니다. 이 그룹은 발전을 유지하고 AGI를 현실 세계에 도입하기 위해서는 새로운 과학과 연구가 필연적으로 필요하다고 믿습니다.

수츠케버 진영은 알트만 진영의 지속적인 확장에 대한 생각이 경제적으로 실행 가능하지 않다고 합리적으로 지적합니다. AI 연구원 노암 브라운은 "결국 수천억 또는 수조 원이 드는 모델을 훈련시키고 싶을까요?"라고 반문합니다. 여기에는 학습에서 추론으로 컴퓨팅 규모를 옮길 경우 추가로 필요한 수십억 달러의 추론 컴퓨팅 지출은 포함되지 않습니다.

그러나 진정한 신자들은 상대방의 주장에 대해 매우 잘 알고 있습니다. 문 앞에 있는 설교자는 쾌락주의적 트릴레마를 쉽게 다룰 수 있습니다. 브라운과 수츠케버의 경우, 수츠케버 진영은 "테스트 당시의 계산"을 확장할 수 있는 가능성을 지적합니다. 지금까지와는 달리 '테스트 시 계산'은 학습을 개선하기 위해 더 큰 계산에 의존하는 대신 더 많은 리소스를 실행에 투입합니다. AI 모델이 사용자의 질문에 답하거나 코드나 텍스트를 생성해야 할 때 더 많은 시간과 계산을 제공할 수 있습니다. 이는 수학 시험 준비에서 선생님을 설득하여 한 시간을 더 주고 계산기를 가져올 수 있도록 하는 것으로 초점을 전환하는 것과 같습니다. 생태계에서 많은 팀들이 정통적인 사전 교육에서 사후 교육/추론 접근 방식으로 전환하고 있기 때문에, 이는 '쓴맛의 종교'의 새로운 영역입니다.

다른 신념 체계의 허점을 지적하고 자신의 입장을 밝히지 않고 다른 가르침을 비판하기는 쉽습니다. 그렇다면 제 자신의 신념은 무엇인가요? 첫째, 저는 현재의 모델들이 시간이 지남에 따라 매우 높은 투자 수익을 제공할 것이라고 믿습니다. 사람들이 한계를 극복하고 기존 API를 활용하는 방법을 배우면서 진정으로 혁신적인 제품 경험의 출현과 성공을 보게 될 것입니다. 우리는 AI 제품의 의인화되고 점진적인 단계를 넘어설 것입니다. 이러한 정의는 프레임워크 측면에서 결함이 있으므로 '범용 AI(AGI)'로 생각하지 말고 다양한 제품과 사용 시나리오에 맞게 커스터마이징할 수 있는 '최소 실행 가능한 인텔리전스'로 생각해야 합니다.

초인공지능(ASI)을 구현하기 위해서는 더 많은 구조가 필요합니다. 보다 명확한 정의와 묘사는 각각이 가져올 수 있는 경제적 가치와 경제적 비용 간의 상충 관계를 보다 효과적으로 논의하는 데 도움이 될 것입니다. 예를 들어, AGI는 일부 사용자에게만 경제적 가치를 제공할 수 있지만(국지적인 신념 체계에 불과), ASI는 멈출 수 없는 복합 효과를 발휘하여 세상과 우리의 신념 체계, 사회의 구조를 바꿀 수 있습니다. 저는 ASI는 익스텐더만으로는 달성할 수 없다고 생각하지만, 안타깝게도 이는 무신론자인 저의 생각일 뿐입니다.

잃어버린 믿음

AI 커뮤니티는 이 감정적인 싸움에서 이길 수 있는 사실적 근거가 없기 때문에 이 성스러운 전쟁을 곧 해결할 수 없을 것입니다. 대신, 우리는 확장 법칙에 대한 믿음을 갖는다는 것이 무엇을 의미하는지에 대해 의문을 제기하는 AI에 관심을 돌려야 합니다. 믿음의 상실은 대규모 언어 모델(LLM)을 넘어 모든 산업과 시장에 영향을 미치는 연쇄 반응을 촉발할 수 있습니다.

인공지능/머신러닝의 대부분의 영역에서 아직 확장의 법칙을 완전히 탐구하지 못했으며 앞으로 더 많은 궁금증이 남아 있다는 점에 유의하는 것이 중요합니다. 그러나 회의론이 팽배해지면 투자자와 개발자가 생명공학이나 로봇공학처럼 '초기 단계'에 있는 분야의 궁극적인 성과에 대해 지금과 같은 높은 수준의 신뢰를 유지하기가 더 어려워질 것입니다. 다시 말해, 대형 언어 모델이 속도가 느려지고 선택한 경로에서 벗어나기 시작하면 인접 분야의 많은 창업자와 투자자들의 신념 체계가 무너질 것입니다.

이것이 공정한지는 또 다른 문제입니다.

'범용 AI'는 당연히 훨씬 더 큰 규모여야 하므로 특수화된 모델의 '품질'을 더 작은 규모로 입증해야 실질적인 가치를 더 효과적으로 전달할 수 있다는 주장도 있습니다. 이렇게 하면 실질적인 가치를 제공하기 전에 병목 현상이 발생할 가능성이 줄어듭니다. 도메인별 모델이 데이터의 일부만 사용하므로 실행 가능한 컴퓨팅 리소스의 일부만 필요하다면 개선의 여지가 충분해야 하지 않을까요? 직관적으로는 이해가 되지만, 실제로는 그렇지 않은 경우가 많습니다. 관련성이 있거나 관련성이 없어 보이는 데이터를 포함하면 관련성이 없어 보이는 모델의 성능을 향상시킬 수 있는 경우가 종종 있습니다. 예를 들어, 프로그래밍 데이터를 포함하면 추론을 더 폭넓게 개선하는 데 도움이 되는 것으로 보입니다.

장기적으로 보면 전문화된 모델에 대한 논쟁은 무의미할 수 있습니다. 초인공지능(ASI)을 만드는 사람의 궁극적인 목표는 다양한 영역에서 무한한 창의성을 발휘할 수 있는 자기 복제 및 자기 개선 능력을 갖춘 개체가 될 것입니다. 전 OpenAI 이사회 멤버이자 오픈 필란트로피의 창립자인 홀든 카르노프스키는 이러한 창조물을 " PASTA"(자동화된 과학 및 기술 발전 과정)라고 부르는데, 샘 알트먼의 원래 수익 계획도 비슷한 원칙, 즉 "AGI를 구축한 다음 어떻게 성과를 내는지 물어보라"는 원칙에 의존하고 있는 것으로 보입니다. 이것이 바로 종말론적 AI, 궁극적 운명입니다.

OpenAI와 Anthropic 같은 대형 AI 연구소의 성공으로 자본 시장은 특정 업종이나 영역에서 차세대 AI를 구축하는 데 중점을 둔 장기적인 목표를 가진 "OpenAI in X"와 같은 연구소를 지원하게 되었습니다. 이러한 연구소는 특정 업종이나 영역에서 'AGI'를 구축하는 것을 장기적인 목표로 삼고 있습니다. 이러한 규모의 세분화는 OpenAI 시뮬레이션에서 제품 중심 기업으로 패러다임의 전환으로 이어질 것이며, 이는 제가 Compound의 2023년 연례 컨퍼런스에서 제기한 가능성입니다.

종말론적 모델과는 달리, 이러한 기업들은 다양한 발전을 입증해야 할 것입니다. 이들은 제품 개발을 궁극적인 목표로 응용 연구를 수행하는 과학 조직이 아니라 대규모 엔지니어링 문제를 해결하기 위해 설립된 기업이 될 것입니다.

과학에서는 자신이 무엇을 하고 있는지 안다면 그 일을 해서는 안 됩니다. 공학에서는 자신이 무엇을 하고 있는지 모른다면 그 일을 해서는 안 됩니다. --리처드 해밍

신자들은 신성한 신념을 곧 잃을 것 같지는 않습니다. 앞서 언급했듯이 종교가 확산됨에 따라 종교는 삶과 예배를 위한 경전과 일련의 휴리스틱을 체계화합니다. 이들은 자신의 힘과 지혜를 강화하고 "자신이 무엇을 하고 있는지 알고 있다"는 것을 보여줄 수 있는 물리적 기념물과 인프라를 구축합니다.

최근 인터뷰에서 샘 알트먼은 AGI(강조는 우리)에 대해 이렇게 말했습니다."

우리가 정말 우리가 무엇을 하고 있는지 알고 있다고 느낀 것은 이번이 처음입니다. 강한>우리는 정말 무엇을 해야 할지 잘 알고 있습니다. 지금부터 AGI를 구축하기까지는 여전히 많은 작업이 필요합니다. 아직 알려지지 않은 부분도 있지만, 우리는 기본적으로 무엇을 해야 할지 알고 있다고 생각합니다, 시간이 좀 걸릴 것이고 힘들겠지만 매우 흥미진진하기도 합니다.

The Trial

비통함의 종교, 확장된 회의론자들은 지난 몇 년 동안 가장 심오한 논의 중 하나에 대한 의문을 해소하고 있습니다. 우리 모두는 어떤 형태로든 이런 종류의 사고에 참여했습니다. 만약 우리가 신을 발명한다면 어떤 일이 일어날까요? 그 신은 얼마나 빨리 나타날까요? 일반화된 인공지능(AGI)이 정말 돌이킬 수 없을 정도로 두각을 나타낸다면 어떤 일이 일어날까요?

모든 미지의 복잡한 주제와 마찬가지로, 우리는 특정 반응을 빠르게 뇌에 저장합니다. 우리 중 일부는 임박한 관련성에 절망하고, 대부분은 파괴와 번영의 혼합을 예상하며, 마지막은 인간이 가장 잘하는 일을 계속하고 해결해야 할 문제와 우리가 스스로 만든 문제를 해결하여 순수한 풍요로 이어질 것입니다.

확장의 법칙이 유지되고 몇 년 후 AGI가 도래하면 세상이 어떤 모습일지 예측할 수 있기를 바라는 사람은 많을 것입니다. 여러분은 이 새로운 신을 어떻게 섬길 것이며, 이 새로운 신은 여러분을 어떻게 섬길까요?

그러나 정체라는 복음이 낙관론자들을 몰아낸다면 어떨까요? 하나님조차도 쇠퇴하고 있다고 생각하기 시작하면 어떨까요? 저는 이전 글 "로봇공학, 규모의 법칙, 그리고 기술 예측"에서 다음과 같이 썼습니다."

규모의 법칙이 사실이 아니라면 어떤 일이 벌어질지, 그리고 그것이 매출 감소, 성장 둔화, 금리 상승이 여러 기술 분야에 미치는 영향과 비슷한 것인지 궁금할 때가 있습니다. 또한 확장의 법칙이 전혀 적용되지 않는다면 다른 많은 영역에서 퍼스트무버의 상품화 곡선과 가치 포착이 비슷한 양상을 보일지 궁금하기도 합니다.

"자본주의의 아름다움은 어쨌든 우리가 그것을 알아내기 위해 많은 돈을 쓴다는 것입니다."

창업자와 투자자에게는 다음 단계가 궁금해집니다. 모든 업종에서 훌륭한 제품 개발자가 될 가능성이 있는 후보자들이 더 많이 알려지고 있습니다. 개별 산업에서 더 많은 기업이 등장하겠지만, 이제 이야기는 시작될 것입니다. 새로운 기회는 어디에서 시작될까요?

확장이 정체되면 폐업과 합병의 물결이 일어날 것으로 예상됩니다. 남은 기업들은 점점 더 엔지니어링에 초점을 맞출 것이며, 인재의 흐름을 추적하여 이러한 변화를 예상해야 합니다. 우리는 이미 OpenAI가 점점 더 제품화되면서 이러한 방향으로 나아가고 있다는 징후를 보고 있습니다. 이러한 변화는 차세대 스타트업이 엔지니어링이 아닌 혁신적인 응용 연구와 과학에 의존해 새로운 길을 개척하려는 시도에서 기존 기업보다 더 나은 성과를 거둘 수 있는 여지를 열어줄 것입니다.

종교로부터의 교훈

종교로부터의 교훈

기술에 대한 저의 견해는 명백한 복리 효과가 있는 것처럼 보이는 사업은 일반적으로 오래 지속되지 않는다는 것이며, 모든 사람들이 일반적으로 가지고 있는 믿음 중 하나는 명백한 복리 효과가 있는 것처럼 보이는 모든 사업은 이상하게도 예상보다 훨씬 낮은 속도와 규모로 성장한다는 것입니다.

종교적 분열의 초기 징후는 일반적으로 예측 가능한 패턴을 따르며 패턴을 따르며, 이는 비터 종교의 진화를 지속적으로 추적하는 프레임워크 역할을 할 수 있습니다.

대개 자본주의적 이유든 이데올로기적 이유든 경쟁적인 해석이 등장하면서 시작됩니다. 초기 기독교에서는 그리스도의 신성과 삼위일체의 본질에 대한 서로 다른 견해가 성경에 대한 매우 다른 해석을 낳는 분열로 이어졌습니다. 앞서 언급한 AI의 분열 외에도 다른 새로운 균열이 나타나고 있습니다. 예를 들어, 일부 AI 연구자들이 트랜스포머의 핵심 정설을 거부하고 상태 공간 모델, 맘바, RWKV, 액체 모델 등과 같은 다른 아키텍처를 선호하고 있는 것을 볼 수 있습니다. 현재로서는 미약한 신호이지만, 이단적인 아이디어의 싹과 기본 원칙에서 이 분야를 다시 생각하려는 의지를 보여줍니다.

시간이 지나면서 예언자의 성급한 발언은 불신으로 이어지기도 합니다. 종교 지도자의 예언이 성취되지 않거나 신의 개입이 약속대로 이루어지지 않을 때 의심의 씨앗을 심습니다.

부패하거나 비대하거나 불안정한 종교는 배교에 취약합니다. 개신교 종교개혁 운동은 루터의 신학적 견해 때문만이 아니라 가톨릭 교회가 쇠퇴하고 혼란스러운 시기에 일어났기 때문에 진행되었습니다. 주류 기관에 균열이 생기면서 오랫동안 '이단적인' 사상이 갑자기 비옥한 땅을 찾았습니다.

AI에서는 다양한 중국 기업 연구소나 Nous Research와 같은 오픈소스 팀의 연구처럼 적은 계산이나 데이터로 비슷한 결과를 얻는 소규모 모델이나 대안적 접근법을 살펴볼 수 있습니다. 생물학적 지능의 한계를 뛰어넘고 오랫동안 극복할 수 없다고 여겨졌던 장벽을 극복하는 사람들도 새로운 이야기를 만들어낼 수 있습니다.

변화의 시작을 관찰하는 가장 직접적이고 시간에 민감한 방법은 수행자의 움직임을 추적하는 것입니다. 공식적인 분열이 일어나기 전에는 종교 학자와 성직자들은 일반적으로 사적으로는 이단적인 견해를 유지하면서도 공개적으로는 순응하는 것처럼 보였습니다. 오늘날에는 표면적으로는 확장의 법칙을 따르지만 은밀히 근본적으로 다른 접근법을 추구하며 합의에 도전하거나 이론적으로 더 넓은 지평을 위해 연구실을 떠날 적절한 순간을 기다리는 AI 연구자들이 이에 대응할 수 있습니다.

종교적, 기술적 정설의 까다로운 점은 가장 헌신적인 신자들이 믿는 것처럼 보편적인 진리가 아닐 뿐 부분적으로 사실인 경향이 있다는 것입니다. 종교가 인간의 근본적인 진리를 형이상학적 틀에 통합하는 것처럼, 확장의 법칙은 신경망 학습의 현실을 명확하게 설명합니다. 문제는 그 현실이 현재의 열광이 시사하는 것처럼 완전하고 변하지 않는지, 그리고 이러한 종교 기관(AI 연구소)이 열광적인 신도들을 이끌 만큼 유연하고 전략적인지 여부입니다. 동시에, 그들의 지식을 확산시킬 수 있는 인쇄기(채팅 인터페이스와 API)를 구축해야 합니다.

더 엔드게임

"종교는 일반인의 눈에는 참되고, 현자의 눈에는 거짓이며, 통치자의 눈에는 유용하다. 눈에는 유용하다." -루시우스 안네우스 세네카

종교 기관에 대한 한 가지 잠재적으로 낡은 견해는 종교 기관이 일정 규모에 도달하면 인간이 운영하는 많은 조직과 마찬가지로 생존에 굴복하기 쉽다는 것입니다. 동기에 굴복하고 경쟁에서 살아남으려고 노력한다는 것입니다. 그 과정에서 진리와 위대함(상호 배타적이지 않은)이라는 동기를 잃어버리게 됩니다.

저는 이전에 자본 시장이 어떻게 내러티브 중심의 정보 고치가 될 수 있으며, 인센티브는 이러한 내러티브를 영속화하는 경향이 있는지에 대해 쓴 적이 있습니다. 확장 법칙에 대한 합의는 수학적으로 우아하고 대규모 자본 배치를 조율하는 데 매우 유용한 확고한 신념 체계와 불길한 유사성을 띠고 있습니다. 많은 종교적 체계와 마찬가지로, 확장 법칙은 근본적인 진리보다는 조정 메커니즘으로서 더 가치가 있을 수 있습니다.