분리형 링 공진기 메타물질 설계를 위한 딥러닝 기반 예측 네트워크

초록

"메타물질"의 도입은 전자기학을 포함한 여러 분야에 심오한 영향을 미쳤습니다. 그러나 주문형 메타물질 구조 설계는 여전히 매우 시간이 많이 소요되는 과정입니다. 효율적인 기계 학습 방법인 딥러닝은 최근 몇 년간 데이터 분류와 회귀에 널리 사용되어 왔으며 실제로 좋은 일반화 성능을 보였습니다. 우리는 주문형 설계를 위한 심층 신경망을 구축했습니다. 필요한 반사율을 입력으로 받아 구조의 매개변수를 자동으로 계산하고 출력해 주문형 설계 목적을 달성합니다. 우리 네트워크는 훈련 세트와 테스트 세트 모두에서 0.005의 낮은 평균 제곱 오차(MSE)를 달성했습니다. 결과는 딥러닝으로 데이터를 훈련하면 훈련된 모델이 구조 설계를 더 정확하게 안내할 수 있어 설계 프로세스를 가속화할 수 있음을 나타냅니다. 기존 설계 프로세스와 비교해 딥러닝을 사용해 메타물질 설계를 안내하면 더 빠르고, 더 정확하며, 더 편리한 목적을 달성할 수 있습니다.

서론

나노 광학은 나노기술과 광학의 학제간 주제입니다. 최근 몇 년간 과학자들은 입사광과의 특수한 상호작용을 달성하기 위해 끊임없이 다른 서브파장 크기의 구조를 설계함으로써 빛의 특정 투과 특성을 조작하는 데 성공했습니다[1-3]. 메타물질이 제안된 이래 이 분야의 많은 학자들의 주목을 끌었으며, 동시에 관련 이론 연구[4, 5], 공정[6, 7], 응용[8] 연구도 같은 속도로 발전하고 있습니다. 홀로그래픽 이미징, 완전 흡수[9], 평면 렌즈[10] 등 많은 독특한 기능이 실현되었습니다. 테라헤르츠 기술의 급속한 발전과 독특한 특성으로 인해 최근 몇 년간 메타물질 분야에서 인기 있는 연구 주제가 되었습니다[11-13].

메타물질의 응용이 매우 넓지만, 기존 설계 방법은 설계자가 설계 중인 구조에 대해 반복적으로 복잡한 수치 계산을 수행해야 합니다. 이 과정은 막대한 시간과 컴퓨팅 자원을 소비합니다. 따라서 기존 설계 방법을 단순화하거나 대체할 새로운 방법을 찾는 것이 시급합니다.

학제간 분야인 기계 학습은 생명 과학, 컴퓨터 과학, 심리학 등 많은 학문을 포괄하며, 컴퓨터를 사용해 인간 학습 과정을 모방하고 구현해 새로운 지식이나 기술을 습득하도록 노력해 왔습니다. 기계 학습의 기본 원리는 컴퓨터 알고리즘을 사용해 대량의 데이터 간 상관관계를 얻거나 유사한 데이터 간 규칙을 예측해 최종적으로 분류나 회귀 목적을 달성하는 것으로 간단히 설명할 수 있습니다. 지금까지 유전 알고리즘[14], 선형 회귀 알고리즘[15], 얕은 신경망 등 많은 기계 학습 알고리즘이 메타물질 지정에 적용되어 중요한 결과를 얻었습니다. 구조가 점점 더 복잡해지고 구조 변화가 더 다양해짐에 따라 문제를 해결하는 데 더 많은 시간이 필요해집니다. 동시에 문제의 높은 비선형 특성은 단순한 기계 학습 알고리즘이 정확한 예측을 얻기 어렵게 만듭니다. 또한 특정 전자기 효과에 맞는 메타물질 구조를 설계하려면 설계자가 구조에 대해 시도하고 복잡한 수치 계산을 수행해야 합니다. 이러한 과정은 엄청난 시간과 컴퓨팅 자원을 소비합니다.

기계 학습 분야에서 가장 뛰어난 알고리즘 중 하나인 딥러닝은 컴퓨터 비전[16], 특징 추출[17], 자연어 처리[18] 등 다양한 관련 분야에서 세계적으로 유명한 업적을 이루었습니다. 동시에 컴퓨터와 무관한 다른 분야에서도 수많은 성공을 거두었습니다. 생명 과학, 화학[19], 물리학[20, 21] 등 많은 기초 학문 분야도 포함됩니다. 따라서 딥러닝을 메타물질 설계에 적용하는 것도 현재 핫한 연구 방향이며, 많은 뛰어난 연구가 등장했습니다[22-24].

딥러닝에 영감을 받아 본 논문에서는 주문형 설계를 달성하기 위해 심층 신경망 기반 기계 학습 알고리즘을 사용해 분리형 링 공진기(SRR) 구조를 예측하는 연구를 보고합니다. 또한 순방향 네트워크와 역방향 네트워크를 혁신적으로 별도로 훈련해 네트워크 정확도를 향상시킬 뿐만 아니라 유연한 결합을 통해 다양한 기능을 달성할 수 있습니다. 결과는 이 방법이 훈련 세트와 검증 세트에서 각각 0.0058과 0.0055의 MSE를 달성하며 좋은 강건성과 일반화를 보임을 보여줍니다. 훈련된 모델이 메타물질 구조 설계를 안내함에 따라 설계 주기를 며칠 또는 심지어 몇 시간으로 단축할 수 있으며 효율성 향상이 명백합니다. 또한 이 방법은 좋은 확장성을 가지며 훈련 세트 데이터만 변경하면 주문형으로 다른 입력이나 다른 구조를 설계할 수 있습니다.

이론 및 방법

COMSOL 모델 구축

딥러닝이 메타물질 구조의 역설계에 적용될 수 있음을 보이기 위해, 금 링, 실리카 바닥, 금 바닥으로 구성된 3층 SRR 구조를 모델링해 입사광 작용 하에서 전자기 응답을 관찰했습니다. 그림 1에 보인 바와 같이 금 링의 개구 각도 θ, 링의 내부 반경 r, 링의 선폭 d를 이 구조의 독립 변수로 선택했습니다. 선형 편광된 빛 빔이 메타물질에 수직 입사할 때 구조 변수를 변경해 파장-반사율 곡선을 얻었습니다. Au 링 두께는 30 nm, SiO₂ 바닥 두께는 100 nm, Au 바닥 두께는 50 nm이며, 메타 원자 크기는 200 nm × 200 nm입니다.

COMSOL Multiphysics 5.4[25]로 모델링하고, 3차원 공간 차원을 선택하고, 물리장으로 광학 ≥ 파동 광학 ≥ 전자기파 주파수 영역(ewfd)을 선택하고 연구를 위해 파장 영역을 선택했습니다. 지오메트리에서 위 모델을 생성했습니다. 각 부분의 재료와 굴절률을 재료에서 순서대로 정의하고, 전자기파 주파수 영역에 포트와 주기적 조건을 추가했습니다.

딥러닝 신경망 모델 구축

우리는 메타물질 구조에 대한 역방향 네트워크와 순방향 네트워크를 구축했습니다. 역방향 네트워크는 주어진 두 세트의 파장-반사율 곡선(서로 다른 편광 방향)에서 SRR의 구조 매개변수를 예측할 수 있습니다. 순방향 네트워크는 주어진 구조 매개변수로 두 편광 방향의 파장-반사율 곡선을 예측할 수 있습니다. 역방향 네트워크의 기능이 예측 기능의 주체입니다. 순방향 네트워크의 역할은 역방향 네트워크의 예측 결과를 검증해 예측 결과가 필요한 전자기 응답을 충족하는지 관찰하는 것입니다.

이클립스 2019를 개발 플랫폼으로, 파이썬 3.7을 프로그래밍 언어로, 텐서플로 1.12.0을 개발 프레임워크로 사용했습니다.

두 네트워크를 별도로 훈련해 각 네트워크의 훈련 결과가 다른 네트워크의 오류에 영향을 받지 않게 함으로써 두 네트워크의 각각의 정확도를 보장했습니다.

그림 2에 보인 바와 같이 두 네트워크를 별도로 훈련하는 또 다른 장점은 다른 연결 순서를 통해 다른 목적으로 사용할 수 있다는 것입니다: (a) 역방향 네트워크 + 순방향 네트워크, 주어진 파장-반사율 곡선으로 구조 매개변수를 계산하고 예측하며 예측 결과가 필요를 충족하는지 검증할 수 있고, (b) 순방향 네트워크만 단독으로 사용하면 수치 계산 방법의 계산 과정을 단순화하고 계산 시간을 줄일 수 있습니다.

훈련된 모델을 딥러닝 방법으로 입력하고 결과를 얻는 과정은 극히 짧은 시간이 걸린다는 점은 주목할 만합니다. 그리고 시뮬레이션이나 실험을 통해 새로운 데이터가 얻어질 때마다 모델을 추가 훈련에 사용할 수 있습니다. 연구에 따르면 훈련 데이터가 지속적으로 증가함에 따라 모델 정확도가 점점 더 높아지고 일반화 성능도 점점 더 좋아집니다[26].

구조 매개변수는 여러 세트의 연속 고유값으로 회귀 문제에 속합니다. 최근 몇 년간 완전 연결 네트워크는 회귀 문제에서 딥러닝 네트워크의 초점이었으며 높은 신뢰성, 큰 데이터 처리량, 낮은 지연 특성을 보였습니다. 완전 연결 네트워크에 약간의 조정을 가하면 네트워크가 구조를 더 잘 예측할 수 있습니다.

그림 3b에 보인 바와 같이 순방향 네트워크는 인접한 두 레이어의 모든 노드가 서로 연결된 완전 연결 네트워크입니다. 입력 데이터는 구조 매개변수이고 출력은 두 편광 방향의 파장-반사율 곡선입니다. 그림 3a에 보인 바와 같이 역방향 네트워크는 특징 추출 레이어(FE 레이어)와 완전 연결 레이어(FC 레이어)로 구성됩니다. FE 레이어는 서로 연결되지 않은 두 세트의 완전 연결 네트워크를 포함하며, 두 방향의 선형 편광된 파장-반사율 곡선을 처리해 입력 데이터의 일부 특징을 추출합니다. FC 레이어는 추출된 특징을 학습하고 구조 매개변수를 출력합니다. 서로 다른 편광 상태의 파장-반사율 곡선 간 높은 응집도와 낮은 결합 특성 때문에, 두 방향의 편광 데이터 입력을 분리하면 데이터 추출 과정에서 데이터 표준화에 의한 네트워크 방해를 방지할 수 있습니다. 순방향 네트워크는 여러 세트 입력을 포함하지 않고 데이터 간 상호 간섭을 고려할 필요가 없으므로 특징 추출 레이어가 필요 없습니다.

최적 네트워크 구조를 결정하기 위해 동일한 데이터 세트로 다른 구조의 네트워크를 훈련했습니다. 그림 4에 보인 바와 같이 데이터가 50 에포크(모든 데이터가 완전한 훈련을 거치면 1 에포크)를 경험한 후 다른 구조의 순방향 네트워크가 도달한 MSE입니다. 그림 4 왼쪽 그림에서 볼 수 있듯 순방향 네트워크가 5개 은닉층, 각 층 100개 노드를 포함할 때 달성된 최저 MSE는 약 0.0174이므로 이 구조의 순방향 네트워크를 선택합니다.

마찬가지로 역방향 네트워크의 다른 네트워크들을 훈련했고 훈련량은 여전히 50 에포크로 설정했습니다. 결과는 그림 4 오른쪽 그림에 나와 있습니다. FC 레이어 수가 7이고 FE 레이어 수가 3일 때 네트워크가 최저 MSE에 도달하며 약 0.1756입니다.

더 많은 네트워크 레이어가 기울기 폭발 현상을 일으켜 네트워크가 수렴하지 못하고 손실이 무한대가 됨을 발견했으며, 이는 그림에 나열하지 않았습니다.

데이터 전처리

더 신뢰할 수 있는 순방향 네트워크를 훈련하기 위해 반사율 데이터를 재분할하고 각 주파수에 해당하는 Au와 SiO₂의 굴절률과 연결했습니다. 정리된 데이터를 정규화해 순방향 네트워크에 입력하면 순방향 네트워크 정확도를 크게 향상시킬 수 있습니다.

더 큰 값의 데이터가 더 작은 값의 데이터보다 네트워크에 더 큰 영향을 미치지 않게 하기 위해 입력 데이터를 정규화해 각 데이터 열이 표준 정규 분포(평균 0, 분산 1)를 따르게 했습니다. 처리된 데이터 x는 다음과 같이 표현할 수 있습니다:

x = (x₀ - μ) / σ

식에서 x₀는 시료의 원본 데이터, μ는 시료의 평균, σ는 시료의 표준편차입니다. 입력 데이터를 재분할하지 않으면 정규화 후 반사율이 왜곡돼 네트워크 정확도가 떨어집니다. 재분할된 데이터는 정규화로 인해 분포에 영향을 받지 않습니다.

신경망 방법

신경망 원리는 인간 뇌가 작동하고 학습하는 방식을 모방해 많은 뉴런(노드)을 구축하는 것입니다[27]. 뉴런은 서로 연결돼 있으며 연결 가중치를 조정해 출력을 조정합니다. 한 레이어의 j번째 노드 출력은 다음과 같이 표현할 수 있습니다:

y_j = Σᵢ₌₁ⁿ f(wᵢxᵢ + b_j) / n

f는 활성화 함수, wᵢ는 이전 레이어 i번째 노드가 j번째 노드에 연결된 연결 가중치, xᵢ는 이전 레이어 i번째 노드 출력, b_j는 이 노드의 바이어스 항, n은 j번째 노드에 연결된 이전 레이어 노드 수입니다.

활성화 함수 선택

역문제의 높은 비선형성을 충족하기 위해 ELU 함수[28]를 각 레이어 뉴런의 활성화 함수로 사용했습니다[28]. ELU 함수 출력 f(x)는 다음과 같이 구간별 형태로 표현할 수 있습니다:

f(x) = { x (x ≥ 0), α(eˣ - 1) (x < 0) }

이 함수에서 x는 원래 입력이고, α 매개변수 값은 0-1 범위입니다.

활성화 함수를 사용하는 이유는 활성화 함수가 네트워크 각 레이어의 비선형 표현 능력을 변경해 네트워크 전체 비선형 피팅 능력을 향상시키기 때문입니다. 그림 5에 보인 바와 같이 ELU 함수는 시그모이드와 ReLU(정류 선형 단위) 활성화 함수의 장점을 결합합니다. x < 0일 때 더 나은 부드러운 포화 특성을 가져 네트워크가 입력 변화와 잡음에 더 강건해집니다. x > 0일 때 포화가 없어 네트워크 기울기 소실 완화에 도움이 됩니다. ELU 평균값이 1에 가깝다는 특성은 네트워크 피팅을 더 쉽게 만듭니다. 결과는 ELU를 딥러닝 신경망 활성화 함수로 사용하면 네트워크 강건성이 현저히 향상됨을 입증합니다.

가중치 초기화 방식

각 레이어 네트워크 가중치 초기화 방법은 네트워크 피팅 속도를 결정하며 심지어 네트워크가 피팅 가능한지 여부를 결정합니다. 분산 스케일링 초기화는 각 레이어 입력 데이터 양을 기반으로 0을 중심으로 한 절단 정규 분포에서 가중치를 추출해 분산을 특정 범위로 줄여 데이터가 네트워크 깊숙이 퍼질 수 있게 합니다[29]. 이 네트워크 구조에서 분산 스케일링 초기화를 사용하면 네트워크 수렴 속도가 현저히 빨라집니다.

과적합 해결

데이터 부족으로 네트워크는 일부 과적합을 생성합니다. 과적합을 줄이면 네트워크가 훈련 세트 외 데이터에서 좋은 일반화 성능을 가질 수 있습니다. L2 정규화(회귀 문제에서 가중치 감쇠라고도 함)를 가중치 w 처리용으로 사용했습니다. 정규화된 출력 L은 다음과 같이 표현할 수 있습니다:

L = L₀ + (λ/2n) Σ w²

식 (4)에서 L₀는 원래 손실 함수를 나타내며, 이 기반에 정규화 항 (λ/2n) Σ w²이 추가됩니다. 여기서 λ는 정규화 계수, n은 데이터 처리량, w는 가중치입니다. 정규화 항 추가 후 가중치 w 값이 전반적으로 감소하는 경향이 있어 과도한 값 발생을 피할 수 있으므로 w를 가중치 감쇠라고도 합니다. L2 정규화는 가중치를 줄여 피팅 곡선의 큰 기울기를 피함으로써 네트워크 과적합 현상을 효과적으로 완화하고 수렴을 돕습니다.

이 기반으로 드롭아웃 방법도 사용했습니다. 이 방법은 각 훈련마다 네트워크 노드의 일정 비율을 시각적으로 "숨기고", 각 훈련마다 다른 노드를 숨겨 여러 "부분 네트워크"를 훈련하는 목표를 달성하는 것으로 볼 수 있습니다. 훈련을 통해 대부분의 "부분 네트워크"가 타겟을 정확하게 표현할 수 있으며, 모든 "부분 네트워크" 결과를 정렬해 타겟 해를 얻을 수 있습니다.

위에서 언급한 L2 정규화와 드롭아웃 방법을 사용하면 데이터 부족으로 인한 낮은 일반화를 효과적으로 완화할 뿐만 아니라 데이터 세트 내 소량의 오류 데이터가 훈련 결과에 미치는 영향도 줄일 수 있습니다.

이 네트워크 구조와 데이터 세트에서 드롭아웃 = 0.2, L2 정규화 계수 λ = 0.0001로 네트워크가 훈련 세트와 테스트 세트에서 유사한 정확도를 얻어 높은 일반화 성능을 달성할 수 있습니다.

결과 및 논의

훈련 후 우리 순방향 네트워크는 높은 피팅도를 달성할 수 있으며, MSE 0.0015로 출력이 시뮬레이션 결과와 매우 유사합니다(그림 6 참조). 이는 역방향 네트워크 훈련 시 역방향 네트워크 결과를 신뢰성 있게 검증할 수 있음을 보장합니다.

최종적으로 우리는 학습된 네트워크에서 두 모델을 생성하고 두 모델을 연결해 예측 기능을 달성합니다.

예측 기능은 그림 2a에 표시된 조합을 선택할 수 있습니다. 역방향 네트워크가 필요한 파장-반사율 곡선에 따라 해당 구조를 예측하고, 순방향 네트워크가 구조의 광학 응답을 검증합니다. 그림 7에 보인 바와 같이 검증된 반사율을 입력 반사율과 비교하면, 두 편광 방향의 입사광 반사율 특성이 기본적으로 일치합니다. 특정 파장 값에서 약간의 반사율 불일치가 관찰되지만, 오차가 허용 범위 내에 잘 있어 전반적인 매칭 추세는 분명히 반박할 수 없습니다.

결론

본 논문에서는 유연한 네트워크 구성 조합을 통해 다양한 효과를 생성할 수 있는 설계된 딥러닝 네트워크를 제시했습니다. 우리가 설계한 역방향 네트워크는 입력 파장-굴절 곡선을 사용해 필요한 구조를 예측할 수 있어 역문제 해결에 필요한 시간을 크게 줄이고 유연한 조합 활용을 통해 다양한 요구를 충족할 수 있습니다. 결과는 네트워크가 예측에서 더 높은 정확도를 달성함을 나타내며, 이는 주문형 설계가 우리 방법을 통해 해결될 수 있음을 추가로 시사합니다. 딥러닝을 사용해 메타물질 설계를 안내하면 기존 설계 방법으로는 달성할 수 없는 더 정확한 메타물질 구조를 자동으로 얻을 수 있습니다.