신경망을 사용한 신호 처리:신경망 설계 검증

이 문서에서는 신경망을 사용하여 데이터를 처리할 때 유효성 검사가 특히 중요한 이유를 설명합니다.

신경망 개발에 대한 AAC의 시리즈는 신경망의 검증과 신호 처리에서 신경망의 기능을 살펴보는 것으로 계속됩니다.

<올>

신경망을 사용하여 분류를 수행하는 방법:퍼셉트론이란?

간단한 퍼셉트론 신경망을 사용하여 데이터를 분류하는 방법

기본 퍼셉트론 신경망 훈련 방법

단순 신경망 훈련 이해

신경망 훈련 이론 소개

신경망의 학습률 이해

다층 퍼셉트론을 사용한 고급 기계 학습

시그모이드 활성화 함수:다층 퍼셉트론 신경망에서의 활성화

다층 퍼셉트론 신경망 훈련 방법

다층 퍼셉트론에 대한 훈련 공식 및 역전파 이해

Python 구현을 위한 신경망 아키텍처

Python에서 다층 퍼셉트론 신경망을 만드는 방법

신경망을 사용한 신호 처리:신경망 설계 검증

신경망용 데이터 세트 훈련:Python 신경망 훈련 및 검증 방법

신경망 신호 처리의 특성

신경망은 근본적으로 다른 신호 처리 시스템과 다릅니다. 일종의 신호 처리 목표를 달성하는 "정상적인" 방법은 알고리즘을 적용하는 것입니다.

이 모델에서 연구원은 신호를 분석하거나 어떤 식으로든 수정하기 위한 수학적 방법을 만듭니다. 오디오에서 노이즈를 제거하고, 이미지에서 가장자리를 찾고, 서미스터의 저항에서 온도를 계산하고, RF 파형의 주파수 내용을 결정하는 등의 방법이 있습니다. 그런 다음 디자이너는 해당 방법을 프로세서에서 수행할 수 있고 주어진 응용 프로그램의 요구 사항에 맞게 조정할 수 있는 알고리즘으로 변환하여 연구원의 작업을 기반으로 합니다.

FIR 필터는 정확한 수학적 방식으로 평가하고 이해할 수 있는 신호 처리 시스템의 한 예입니다.

반면에 훈련된 신경망은 경험적 시스템.

네트워크에서 발생하는 수학적 프로세스는 필기 문자를 분류하거나 토네이도의 형성을 예측하거나 극단적인 항공 기동을 위한 제어 절차를 개발하기 위한 특정 알고리즘을 구성하지 않습니다. 오히려 신경망의 수학은 프레임워크입니다. 네트워크가 훈련 데이터를 기반으로 맞춤형 계산 모델을 생성할 수 있도록 합니다.

우리는 신경망이 필요한 기능을 학습하고 달성할 수 있도록 하는 수학적 프레임워크를 이해하지만 실제 신호 처리 알고리즘은 훈련 데이터, 학습률, 초기 가중치 값 및 기타 요소에 따라 다릅니다.

신경망은 FIR 필터와 달리 다양한 요인에 따라 달라집니다.

어렸을 때 언어를 배우는 것과 어른이 되어 언어를 배우는 것의 차이와 같습니다.

"문법"이라는 단어를 들어 본 적이 없는 어린이도 올바른 동사 형태를 반복해서 생성할 수 있습니다. 왜냐하면 어린이의 두뇌는 어린이들이 상호 작용하는 노인들로부터 받는 엄청난 양의 언어 입력 데이터에 포함된 패턴을 자연스럽게 인식하고 유지하기 때문입니다.

그러나 성인은 일반적으로 이 모든 입력에 접근할 수 없고 동일한 방식으로 패턴을 동화하지 않을 수 있습니다. 따라서 우리는 동사를 올바르게 활용하고 시제를 선택할 수 있게 해주는 언어 "알고리즘"을 암기하고 구현합니다.

검증의 중요성

신경망은 풍부한 입력이 주어지면 아이들이 언어 패턴을 찾는 것과 유사한 수학적 패턴을 "자연스럽게" 찾기 때문에 매우 복잡한 문제를 해결할 수 있습니다. 그러나 신호 처리에 대한 이러한 접근 방식은 결코 오류가 없습니다.

"갔다" 대신에 "가다" 또는 "보류" 대신에 "보류"라고 말하는 영어권 어린이를 생각해 보십시오. 이를 과정규화 오류라고 합니다. 그들은 과거 시제에 대해 -ed 패턴을 선택했지만, 불충분한 데이터 또는 인지적 특이성 등 어떤 이유로 인해 과거 시제에서 불규칙한 동사를 설명하기 위해 언어 모델을 아직 개선하지 않았습니다.

물론 아무도 “나는 공원에 갔다”고 4살짜리 아이를 꾸짖지 않을 것입니다. 그러나 저명한 정치인이 중요한 연설을 하고 "갔다", "보류했다", "찾았다", "알았다" 등을 반복적으로 말하면 청중은 심각하게 불쾌해(또는 완전히 당혹스러워)하고 연사의 정치 경력이 갑자기 끝나다.

이러한 과잉 정규화 오류는 훈련된 신경망이 원하는 신호 처리 기능을 달성하는 능력에 예상치 못한 격차가 있을 수 있음을 보여주는 좋은 예입니다. 그리고 작은 간격이 중요하지 않거나 흥미롭게 보일 수도 있지만, 우리가 단순히 실험을 수행할 때 정치인의 예는 실제 적용에서 재앙이 될 수 있음을 상기시킵니다.

과소 훈련과 과잉 훈련은 모두 네트워크가 실제 애플리케이션 데이터에 직면할 때 예상치 못한 문제가 되는 동작을 초래할 수 있습니다. 자세한 내용은 4부를 참조하세요.

이제 검증이 신경망 개발의 중요한 측면인 이유를 알게 되었습니다. 훈련 데이터 세트는 본질적으로 제한되어 있으므로 이 데이터 세트에 대한 네트워크의 응답도 제한적이기 때문에 훈련만으로는 충분하지 않습니다.

게다가 훈련은 우리가 마치 전형적인 공식이나 알고리즘인 것처럼 분석하고 평가할 수 없는 "블랙박스" 계산 시스템을 만듭니다. 따라서 우리는 검증해야 합니다. , 네트워크가 일반적인 실제 입력 데이터를 성공적으로 처리하고 비정형 데이터가 제공될 때 심각한 오류를 생성하지 않도록 합리적으로 할 수 있는 모든 것을 하는 것으로 정의합니다.

용어별 정렬

제가 "검증"이라고 하는 절차를 "검증" 또는 간단히 "테스트"라고 부를 수도 있습니다.

소프트웨어 개발의 맥락에서 처음 두 용어는 별개의 의미를 갖습니다. Barry Boehm을 인용한 Wikipedia는 검증이 제품이 올바르게 제작되고 있는지 확인하는 것이고 검증은 올바른 제품이 제작되고 있는지 확인하는 것이라고 말합니다. 이 두 가지 문제가 모두 필수적이므로 "검증 및 유효성 검사"의 약어 "V&V"가 표시됩니다.

저는 소프트웨어 엔지니어가 아니므로 이 패러다임을 채택할 의무가 없기를 바랍니다. 저는 단순히 훈련된 신경망이 시스템 요구 사항을 충족하는지 확인하기 위해 수행하는 테스트, 분석 및 관찰을 지칭하기 위해 "검증"이라는 용어를 사용하고 있습니다.

마무리 생각:유효성 검사가 정확히 무엇입니까?

글쎄요.

예를 들어 NASA는 "항공 우주 시스템을 위한 신경망의 검증 및 검증"이라는 제목의 상당히 긴 문서를 발표했습니다. 저보다 신경망 V&V에 관심이 있다면 이 문서부터 시작하는 것이 좋습니다. 진정한 V&V 광신도라면 Methods and Procedures for Verification and Validation of Artificial Neural Networks 책을 고려해야 합니다.; 293페이지로 이 주제에 대한 내 지식을 최소한 100배 이상 초과합니다.

실험적 또는 교육적 목적으로 개발된 간단한 신경망의 세계에서 유효성 검사는 주로 새로운 데이터에서 훈련된 네트워크를 실행하고 분류 정확도를 평가하는 것을 의미하며 전체 성능이 어떻게 될 수 있는지 여부와 방법을 결정하는 데 도움이 되는 미세 조정을 포함할 수도 있습니다. 개선되었습니다.

향후 기사에서 특정 유효성 검사 기술을 살펴보겠습니다.