딥 러닝 기반 분할 링 공진기를 사용한 메타물질 예측 네트워크

이론 및 방법

COMSOL 모델 구축

딥러닝이 메타물질 구조의 역설계에 적용될 수 있음을 보여주기 위해 우리는 금 고리, 실리카 바닥, 금 바닥으로 구성된 3층 SRR 구조를 모델링하여 입사광. 그림 1과 같이 개방각 θ 금 반지의 내부 반경 r 링의 너비 및 선 너비 d 링의 는 이 구조의 독립변수로 선택됩니다. 선형 편광 빔이 메타 물질에 정상적으로 들어갈 때 구조 변수를 변경하여 다른 구조의 파장-반사 곡선을 얻습니다. Au 링의 두께는 SiO₂ 바닥의 30 nm입니다. 는 100 nm이고, Au 바닥의 바닥은 50 nm이며, 메타 원자의 크기는 200 nm x 200 nm입니다.

구조의 개략도. 메타표면 전체는 두 방향으로 반복적으로 배열된 메타 원자로 구성되며, 직선 편광이 메타표면에 수직으로 입사된다. 각 메타 원자는 위에서 아래로 금 고리, 실리카 바닥, 금 바닥으로 구성됩니다. 맨 위의 금색 링에는 세 가지 구조적 매개변수, 즉 선 너비 d가 포함되어 있습니다. , 개방각 θ , 내부 링 반경 r

모델링을 위해 COMSOL Multiphysics 5.4 [25]를 사용하고, 3차원 공간 차원을 선택하고, 물리적 필드에 대해 광학 ≥ 파동 광학 ≥ 전자기파 주파수 영역(ewfd)을 선택하고 연구를 위한 파장 영역을 선택합니다. 기하학에서 위의 모델을 작성하십시오. 각 부품의 재질과 굴절률은 재질에서 순서대로 정의되며, 전자파 주파수 영역에서는 포트와 주기적인 조건이 추가됩니다.

딥 러닝 신경망 모델 구축

우리는 메타물질 구조를 위한 역방향 네트워크와 순방향 네트워크를 구축했습니다. 역 네트워크는 편광 방향이 다른 두 세트의 파장 반사 곡선에서 SRR의 구조적 매개변수를 예측할 수 있습니다. 순방향 네트워크는 주어진 구조적 매개변수에 의해 두 편광 방향의 파장-반사 곡선을 예측할 수 있습니다. 역 네트워크의 기능은 예측 기능의 본체입니다. 순방향 네트워크의 역할은 역방향 네트워크의 예측 결과를 검증하여 예측 결과가 필요한 전자기 응답을 충족하는지 여부를 관찰하는 것입니다.

eclipse 2019를 개발 플랫폼으로, python3.7을 프로그래밍 언어로, TensorFlow 1.12.0을 개발 프레임워크로 사용하세요.

두 네트워크는 각 네트워크의 훈련 결과가 다른 네트워크의 오류에 영향을 받지 않도록 별도로 훈련되어 두 네트워크의 각각의 정확도를 보장합니다.

그림 2에서 볼 수 있듯이 두 네트워크를 별도로 훈련할 때의 또 다른 이점은 서로 다른 연결 시퀀스를 통해 서로 다른 목적으로 사용할 수 있다는 것입니다. (a) 역방향 네트워크 + 순방향 네트워크, 주어진 파장-반사율 곡선을 사용하여 계산 구조 매개변수, 예측을 수행하고 예측 결과가 요구 사항을 충족하는지 확인하고 (b) 순방향 네트워크만 사용하면 수치 계산 방법의 계산 프로세스를 단순화하고 계산 시간을 줄일 수 있습니다.

이 그림에서 FNN은 순방향 신경망, RNN은 역방향 신경망을 나타냅니다. 상단 그래프(a )는 두 개의 네트워크가 연결되어 예측 및 검증의 효과를 얻을 수 있음을 나타내며 하단 그래프(b )는 순방향 응답 네트워크만 광학 응답을 계산하는 데 사용할 수 있음을 나타냅니다.

딥 러닝 방법을 사용하여 훈련된 모델의 결과를 입력하고 얻는 과정이 매우 짧은 시간이 걸린다는 점은 주목할 가치가 있습니다. 그리고 시뮬레이션이나 실험을 통해 새로운 데이터를 얻을 때마다 모델을 추가 학습에 사용할 수 있습니다. 연구에 따르면 훈련 데이터가 지속적으로 증가함에 따라 모델의 정확도가 점점 더 높아지고 일반화 성능이 점점 더 좋아질 것으로 나타났습니다[26].

구조의 매개변수는 회귀 문제에 속하는 연속 고유값의 다중 세트입니다. 최근 몇 년 동안 완전 연결 네트워크는 회귀 문제에 대한 딥 러닝 네트워크의 초점이 되어 왔으며 높은 신뢰성, 대용량 데이터 처리량 및 낮은 대기 시간의 특성을 보여주었습니다. 완전히 연결된 네트워크에서 약간의 조정을 수행하면 네트워크가 구조를 더 잘 예측할 수 있습니다.

도 3b에 도시된 바와 같이 순방향 네트워크는 인접한 두 계층의 모든 노드가 서로 연결된 완전 연결 네트워크이다. 입력 데이터는 구조적 매개변수이고 출력은 두 편광 방향의 파장-반사 곡선입니다. 그림 3a와 같이 역방향 네트워크는 특징 추출 계층(FE 계층)과 완전 연결 계층(FC 계층)으로 구성됩니다. FE 레이어는 서로 연결되지 않은 두 세트의 완전 연결된 네트워크를 포함하며 입력 데이터의 일부 특징을 추출하기 위해 양방향 선형 편광의 파장-반사 곡선을 처리합니다. FC 계층은 추출된 특징을 학습하고 구조적 매개변수를 출력합니다. 서로 다른 편광 상태에서 파장-반사 곡선 사이의 높은 응집력과 낮은 결합 특성으로 인해 두 세트의 편광 데이터 입력을 서로 다른 방향으로 분리하면 데이터 추출 과정에서 데이터 표준화로 인해 네트워크가 방해받는 것을 방지할 수 있습니다. 순방향 네트워크는 여러 입력 집합을 포함하지 않으며 데이터 간의 상호 간섭을 고려할 필요가 없으므로 특징 추출 레이어가 없습니다.

네트워크 구조의 개략도. 위의 그림은 역 네트워크를 보여줍니다. 역 네트워크는 입력 계층, 특징 추출 계층, 완전 연결 계층 및 출력 계층으로 구성됩니다. 다음 그림은 입력 계층, 은닉 계층 및 출력 계층으로 구성된 순방향 네트워크를 보여줍니다.

최적의 네트워크 구조를 결정하기 위해 동일한 데이터 세트를 사용하여 다른 구조의 네트워크를 학습합니다. 그림 4와 같이 데이터가 50 epoch를 거친 후(모든 데이터가 완전한 훈련을 받았을 때를 epoch라고 함) MSE는 다른 구조의 순방향 네트워크에 의해 도달합니다. 그림 4의 왼쪽 그림에서 볼 수 있듯이 순방향 네트워크가 5개의 은닉 레이어를 포함하고 각 레이어가 100개의 노드를 포함할 때 달성되는 가장 낮은 MSE는 약 0.0174이므로 이 구조의 순방향 네트워크가 선택됩니다.

네트워크 구조 비교. 왼쪽 그림에서 가로축은 각 레이어의 노드 수, 세로축은 MSE, 검정, 빨강, 파랑, 초록은 은닉층이 5, 6, 7, 각각 8층. 오른쪽 그림에서 가로축은 완전연결층의 층수, 세로축은 MSE, 흑색, 적색, 청색선은 FE층이 3, 4, 5를 포함하는 상황을 나타낸다. , 각각

유사하게, 역 네트워크의 다른 네트워크가 훈련되었고 훈련 볼륨은 여전히 ​​50 epoch로 설정되었습니다. 그 결과는 Fig. 4의 오른쪽 그림과 같다. FC layer의 개수가 7이고 FE layer의 개수가 3일 때 네트워크는 가장 낮은 MSE(약 0.1756)에 도달한다.

우리는 더 많은 수의 네트워크 레이어가 그래디언트 폭발 현상을 생성하여 네트워크가 수렴하지 못하게 하고 손실이 무한하다는 것을 발견했습니다. 그래서 그림에 나열되지 않았습니다.

데이터 사전 처리

보다 안정적인 순방향 네트워크를 훈련하기 위해 반사율 데이터를 재분할하고 Au 및 SiO₂의 굴절률로 스티칭합니다. 각 주파수에 해당합니다. 그런 다음 대조 데이터가 정규화되어 순방향 네트워크에 입력되어 순방향 네트워크의 정확도를 크게 향상시킬 수 있습니다.

더 큰 값을 가진 데이터가 더 작은 값을 가진 데이터보다 네트워크에 더 큰 영향을 미치지 않도록 하려면 데이터의 각 열이 표준 정규 분포를 따르도록 입력 데이터를 정규화해야 합니다(평균 값은 0, 분산은 1), 처리된 데이터 x 다음과 같이 표현할 수 있습니다.

식에서 x ₀ 샘플의 원본 데이터, μ 표본의 평균 및 σ 표본의 표준편차. 입력 데이터를 재분할하지 않으면 정규화 후 반사율이 왜곡되어 네트워크의 정확도가 떨어집니다. 재분할된 데이터는 정규화로 인해 분포에 영향을 미치지 않습니다.

신경망 방식

신경망의 원리는 인간의 두뇌가 작동하고 학습하는 방식을 모방하여 많은 뉴런(노드)을 구축하는 것입니다[27]. 뉴런은 서로 연결되어 있고 연결 가중치를 조절하여 출력을 조절합니다. j의 출력 레이어의 th 노드는 다음과 같이 표현할 수 있습니다.

f 활성화 함수, w _나 이전 레이어의 i 연결 가중치 j에 연결된 th 노드 th 노드, x _나 i의 출력입니다. 이전 레이어의 th 노드, b _j 는 이 노드의 편향 항이고 n j에 연결된 이전 레이어의 노드 수입니다. th 노드.

활성화 기능 선택

역 문제의 높은 비선형성을 만족시키기 위해 ELU 함수[28]는 뉴런의 각 층의 활성화 함수로 사용된다[28]. 출력 f (x ) ELU 함수의 조각별 형식은 다음과 같이 표현될 수 있습니다.

이 함수에서 x 원래 입력이고 α에 대한 매개변수 값입니다. 범위는 0에서 1까지입니다.

활성화 함수를 사용하는 이유는 활성화 함수가 네트워크의 각 계층의 비선형 표현 능력을 변화시켜 네트워크의 전체 비선형 피팅 능력을 향상시키기 때문입니다. 그림 5와 같이 ELU 함수는 Sigmoid와 ReLU(Rectified Linear Unit) 활성화 함수의 장점을 결합한 것입니다. x일 때 <0, 더 나은 부드러운 채도를 가지므로 네트워크가 입력 변경 및 노이즈에 대해 더 강력해집니다. x일 때> 0이면 포화가 없으므로 네트워크의 기울기가 사라지는 것을 완화하는 데 도움이 됩니다. ELU의 평균값이 1에 가깝다는 특성은 네트워크를 더 쉽게 적합하게 만들 수 있습니다. 결과는 ELU를 딥 러닝의 활성화 함수로 사용하면 신경망이 네트워크의 견고성을 크게 향상시킨다는 것을 증명합니다.

지수 선형 단위(ELU) 함수 곡선. 그림에서 x 원래 입력을 나타내며 f (x )는 함수 출력을 나타냅니다.

가중치 초기화 체계

각 계층의 네트워크 가중치의 초기화 방법은 네트워크 피팅의 속도를 결정하고 네트워크의 적합 여부를 결정합니다. Variance scaling 초기화는 각 계층의 입력 데이터 양을 기반으로 0을 중심으로 하는 잘린 정규 분포에서 가중치를 추출하여 분산을 특정 범위로 축소한 다음 데이터를 네트워크 전체에 더 깊이 퍼뜨릴 수 있습니다[29 ]. 이 네트워크 구조에서 Variance scaling 초기화를 사용하면 네트워크의 수렴 속도를 훨씬 더 빠르게 할 수 있습니다.

과적합 솔루션

데이터가 충분하지 않기 때문에 네트워크는 약간의 과적합을 생성합니다. 과적합이 감소하면 네트워크는 훈련 세트 외부의 데이터에 대해 우수한 일반화 성능을 가질 수 있습니다. L2 정규화(회귀 문제에서 가중치 감소라고도 함)는 가중치 w를 처리하는 데 사용됩니다. . 정규화된 출력 L 다음과 같이 표현할 수 있습니다.

식에서 (4), L ₀ 는 원래의 손실 함수를 나타내며 이를 기반으로 정규화 항 \( \frac{\lambda }{2n}\sum {w}^2 \)이 추가됩니다. 여기서 λ 정규화 계수를 나타냅니다. n 데이터 처리량 및 w 무게. 정규화 항이 추가된 후 가중치 w 값 전반적으로 감소하는 경향이 있으며 과도한 값의 발생을 피할 수 있으므로 w 체중 감소라고도 합니다. L2 regularization은 weight를 줄여서 fit된 곡선의 큰 기울기를 피할 수 있으므로 네트워크의 overfitting 현상을 효과적으로 완화하고 수렴에 도움이 됩니다.

이를 기반으로 dropout 방법도 사용됩니다. 이 방법은 시각적으로 여러 "부분 네트워크" 훈련 목표를 달성하기 위해 각 훈련에 대해 특정 규모의 네트워크 노드를 "숨김"하고 각 훈련 중에 서로 다른 노드를 숨기는 것으로 간주할 수 있습니다. 그리고 훈련을 통해 대부분의 "부분 네트워크"는 대상을 정확하게 나타낼 수 있으며 모든 "부분 네트워크"의 결과를 정렬하여 대상의 솔루션을 얻을 수 있습니다.

위에서 언급한 L2 정규화 및 드롭아웃 방법을 사용하면 불충분한 데이터로 인한 낮은 일반화를 효과적으로 완화할 수 있을 뿐만 아니라 데이터 세트의 소량의 잘못된 데이터가 훈련 결과에 미치는 영향을 줄일 수 있습니다.

이 네트워크 구조 및 데이터 세트에서 드롭아웃 =0.2 및 L2 정규화 계수 λ =0.0001이면 네트워크는 훈련 세트와 테스트 세트에서 비슷한 정확도를 얻을 수 있으므로 높은 일반화 성능을 얻을 수 있습니다.

결과 및 토론

훈련 후, 우리의 순방향 네트워크는 0.0015의 MSE로 높은 수준의 적합도를 달성할 수 있으며, 이는 출력이 그림 6과 같이 시뮬레이션 결과와 매우 유사함을 보여줍니다. 이는 또한 역방향 네트워크를 훈련할 때 다음을 보장합니다. 역 네트워크의 결과를 안정적으로 확인할 수 있습니다.

<그림>

순방향 네트워크 훈련 결과. 해당 구조적 매개변수는 θ입니다. =50°, r =60 nm 및 d =10 nm. 그림에서 가로축은 입사광 파장, 세로축은 반사율, 빨간색 선은 COMSOL 시뮬레이션 결과, 파란색 선은 네트워크 훈련 결과를 나타냅니다. 왼쪽 그림은 x에 해당하는 반사율 곡선을 보여줍니다. -편광된 입력, 오른쪽 그림은 y에 해당하는 반사율 곡선을 보여줍니다. -편광 입력

마지막으로 학습된 네트워크에서 두 개의 모델을 생성하고 두 모델을 연결하여 예측 기능을 구현합니다.

예측 기능은 그림 2a와 같은 조합을 선택할 수 있습니다. 역방향 네트워크는 필요한 파장-반사율 곡선에 따라 해당 구조를 예측하고 순방향 네트워크는 구조의 광학 응답을 확인합니다. Fig. 7과 같이 검증된 반사율과 입력 반사율을 비교하여 두 편광 방향으로 입사되는 빛의 반사율 특성은 기본적으로 일정하다. 특정 파장 값에 대해 약간의 반사율 불일치가 관찰될 수 있지만 오류가 허용 가능한 범위 내에 있기 때문에 전체 일치 경향은 분명히 반박할 수 없습니다.

<그림>

순방향 네트워크가 뒤따르는 역방향 네트워크는 예측의 목적을 달성할 수 있습니다. 그림에서 가로축은 입사광 파장, 세로축은 반사율, 빨간색 선은 COMSOL 시뮬레이션 결과, 파란색 선은 네트워크 훈련 결과를 나타냅니다. 왼쪽 그림은 x에 해당하는 반사율 곡선을 보여줍니다. -편광된 입력, 오른쪽 그림은 y에 해당하는 반사율 곡선을 보여줍니다. - 편광 입력. 입력 파장-반사 곡선에 대한 예측 결과는 θ입니다. =1.5°, r =65 nm 및 d =18 nm

결론

이 기사에서는 네트워크 구성의 유연한 조합을 사용하여 다양한 효과를 생성할 수 있는 설계된 딥 러닝 네트워크를 제시했습니다. 설계된 우리의 역 네트워크는 입력 파장-굴절 곡선을 사용하여 필요한 구조를 예측할 수 있으며, 이는 역 문제를 해결하는 데 필요한 시간을 크게 줄이고 유연한 조합을 활용하여 다양한 요구를 충족할 수 있습니다. 결과는 네트워크가 예측에서 더 높은 정확도를 달성했음을 나타내며, 이는 주문형 설계가 우리의 방법을 통해 해결할 수 있음을 의미합니다. 딥 러닝을 사용하여 메타물질 설계를 안내하면 보다 정확한 메타물질 구조를 자동으로 얻을 수 있으며, 이는 기존 설계 방법으로는 달성할 수 없는 결과입니다.

데이터 및 자료의 가용성

원고의 날짜는 시뮬레이션 네트워크에서 가져온 것이며 개인적인 이유로 공유할 수 없습니다.

약어

ELU:

지수 선형 단위

FC 레이어:

완전 연결 레이어

FE 레이어:

특징 추출 레이어

FNN:

순방향 신경망

MSE:

평균 제곱 오차

ReLU:

정류된 선형 장치

RNN:

역신경망

SRR:

분할 링 공진기

모놀리식 3섹션 DFB 레이저로 광범위하게 조정 가능한 단일/이중 RF 신호 생성 산소 환원 및 산소 진화 반응을 위한 나노다공성 금속-유기 프레임워크 나노시트의 N, P-도핑된 탄소 나노튜브 내에 캡슐화된 Co/CoP 나노입자