Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1229-3059(Print)
ISSN : 2287-2302(Online)
Journal of the Computational Structural Engineering Institute of Korea
Vol.32 No.4 pp.265-272

DOI : https://doi.org/10.7734/COSEIK.2019.32.4.265

Bolt-Loosening Detection using Vision-Based Deep Learning Algorithm and Image Processing Method

So-Young Lee1, Thanh-Canh Huynh2, Jae-Hyung Park3, Jeong-Tae Kim1†
1Department of Ocean Engineering, Pukyong National Univ., Busan, 48513, Korea
2Center for Construction, Mechanics and Materials, Institute of Research and Development, Duy Tan Univ., Danang, 550000, Vietnam
3Coastal and Structural Solution Co. Ltd., Busan, 48508, Korea
Corresponding author: Tel: +82-51-629-6585; E-mail: idis@pknu.ac.kr
July 8, 2019 July 28, 2019 July 29, 2019

Abstract


In this paper, a vision-based deep learning algorithm and image processing method are proposed to detect bolt-loosening in steel connections. To achieve this objective, the following approaches are implemented. First, a bolt-loosening detection method that includes regional convolutional neural network(RCNN)-based deep learning algorithm and Hough line transform(HLT)-based image processing algorithm are designed. The RCNN-based deep learning algorithm is developed to identify and crop bolts in a connection image. The HLT-based image processing algorithm is designed to estimate the bolt angles from the cropped bolt images. Then, the proposed vision-based method is evaluated for verifying bolt-loosening detection in a lab-scale girder connection. The accuracy of the RCNN-based bolt detector and HLT-based bolt angle estimator are examined with respect to various perspective distortions.



영상기반 딥러닝 및 이미지 프로세싱 기법을 이용한 볼트풀림 손상 검출

이 소 영1, 현 탄 칸2, 박 재 형3, 김 정 태1†
1부경대학교 해양공학과
2Duy Tan University
3(주)씨앤에스솔루션

초록


본 연구에서는 영상기반 딥러닝 및 이미지 프로세싱 기법을 이용한 볼트풀림 손상검출 기법을 제안하였다. 이를 위해 먼 저, 딥러닝 및 이미지 프로세싱 기반 볼트풀림 검출 기법을 설계하였다. 영상기반 볼트풀림 검출 기법은 볼트 이미지 검출 과정 및 볼트풀림 각도 추정 과정으로 구성된다. 볼트 이미지의 검출을 위하여 RCNN기반 딥러닝 알고리즘을 이용하였다. 영상의 원근왜곡 교정을 위해 호모그래피 개념을 이용하였으며 볼트풀림 각도를 추정을 위하여 Hough 변환을 이용하였다. 다음으로 제안된 기법의 성능을 검증을 위하여 거더의 볼트 연결부 모형을 대상으로 볼트풀림 손상검출 실험을 수행하였다. 다양한 원근 왜곡 조건에 대하여 RCNN 기반 볼트 검출기와 Hough 변환 기반 볼트풀림 각도 추정기의 성능을 검토하였다.



    Ministry of Land, Infrastructure and Transport
    18CTAPC142999-01

    1. 서 론

    볼트는 교량뿐만 아니라 건축, 기계, 항공 분야에서도 부재 간의 연결을 위해 많이 사용되며, 볼트의 결함은 구조물의 직접적인 붕괴를 유발할 수 있다는 점에서 정확한 진단 및 모니터링이 필요하다. 한국도로공사의 보고에 따르면 운영 중인 강교량의 33.3%에서 볼트결함 문제가 발견되었고 그 원인 으로는 볼트의 체결력 저하, 진동에 의한 풀림이나 탈락에 의한 것이 58.1%로 가장 많은 비중을 차지하였다.

    현재, 볼트풀림 진단을 위한 기법에는 육안점검, 해머 타격법, 토크법 등이 이용되고 있으며, 상시볼트풀림 모니터링을 위한 기법에는 음탄성법(acoustoelastic), 유도파법(guided wave), 전기역학적 임피던스(elasto-mechanical impedance), 너트의 회전각 측정법, 전위차를 이용한 기법들이 제안되었다. 하지만 기존의 기법들은 볼트가 완전히 풀릴때 까지 확인할 수 없거나 점검자의 주관 및 경험에 대한 의존도가 높은 단점이 있다.

    국내에서는 지속적인 도로여건 개선에 따라 많은 신설 교량 들이 준공되어 최근 10년 만에 교량의 수가 약 2배에 이르고 있다. 교량의 증가 추세와 더불어 교량의 유지관리 비용 또한 급격하게 증가하고 있다(KOSTAT, 2019). 점검이 필요한 볼트연결부의 개소가 점차 방대해짐에 따라 기존의 볼트풀림 진단 기술은 실제 적용성이 떨어져 보다 경제적이며 효과적인 교량 유지관리 기술이 요구된다.

    최근 딥러닝(deep learning) 기술은 컴퓨터 비전 분야에서 탁월한 성능으로 부각되고 있다. 딥러닝 알고리즘 중 합성곱 신경망(convolutional neural network, CNN)은 개체 분류 및 탐지 기능에서 정확성 및 신속성을 인정받고 있으며, 다층 프레임 구조의 손상탐지, 콘크리트 표면의 균열탐지, 회전기 계의 결함탐지 등에 활용된 바 있다(Girshick et al., 2014;Gu et al., 2015;Abdeljaber et al., 2015;Janssens et al., 2016;Cha et al., 2017). 특히, Zhao 등(2019)은 볼트 풀림 각도 검출에도 CNN 기반 딥러닝을 사용하였다. 그러나 Zhao의 기법은 단일 볼트를 대상으로 설계되어 다수의 볼트로 구성되는 현실적인 볼트연결부의 모니터링을 위해서는 그 실용 성을 개선할 필요가 있다.

    한편, IT 기술의 발전에 따라 이미지 처리 기법은 영상자료를 기반의 토목구조물 진단 및 모니터링 분야에서 그 적용 가능성이 검토되고 있다. 이미지 처리기법을 이용한 구조물 진단기술은 기존 접촉식 센서 기반의 기술의 대안으로 제시되고 있다. 현재, 볼트풀림 검출을 위한 몇 가지 영상기반 기법이 제안되었다. Park 등(2015)은 Hough 변환 및 Canny 모서리 검출 기법을 이용하여 볼트풀림 각도를 검출하였으며, 이는 풀림 감지 오차가 4°이내로 정확도가 높은 장점이 있다. Cha 등(2016)은 Support Vector Machine과 이미지처리 기법을 함께 사용하는 기법을 제시하였으며, 이는 볼트풀림량 추정 시 볼트머리 치수와 볼트 회전에 의한 노출된 나사선의 길이를 이용함에 따라 초기의 볼트 풀림 감지에는 취약하다는 단점이 있다.

    본 연구에서는 영상기반 딥러닝 및 이미지 프로세싱 기법을 이용한 볼트풀림 손상검출 기법을 제안하였다. 이를 위해 먼저, 딥러닝 및 이미지 프로세싱 기반 볼트풀림 검출 기법을 설계하 였다. RCNN(regional convolutional neural network) 기반 딥러닝 알고리즘을 통해 영상자료로부터 볼트 이미지를 검출하며, 이미지 프로세싱 기법을 통해 원근왜곡 교정 및 볼트 풀림 각도를 추정하였다. 다음으로 거더의 볼트연결부 모형을 대상으로 제안된 영상기반 볼트풀림손상 검출 기법의 성능을 검증하였다. 또한, 다양한 원근 왜곡 조건에 대하여 제안된 기법의 볼트풀림손상 검출 성능을 검토하였다.

    2. 딥러닝-이미지 프로세싱 기반 볼트풀림 검출 기법

    딥러닝-이미지 프로세싱 기반 볼트풀림 검출 기법은 Fig. 1과 같이 볼트이미지 검출(bolt identification)과 볼트플림각도 추정(bolt angle estimation)의 두 단계로 구성된다. 볼트 이미지 검출 단계에서는 RCNN(regional convolutional neural network)을 이용하여 영상자료로부터 볼트 이미지를 검출한다. 이를 위해 다양한 볼트 연결부 이미지 자료를 이용 하여 RCNN 기반 볼트검출기(bolt detector)를 훈련시킨다. 대상 볼트연결부 이미지는 훈련된 볼트검출기를 통해 개개의 볼트를 검출한다. 볼트풀림각도 추정 단계에서는 이미지 프로 세싱 기법을 통해 검출된 볼트의 각도를 추정한다. 촬영 각도에 의해 발생한 볼트연결부 이미지의 원근왜곡을 교정하고 개개의 볼트 이미지로 분할한다. 분할된 볼트 이미지에 대해 Hough 변환(hough line transform)을 수행하여 모서리를 검출하고 이로부터 볼트의 각도를 추정한다.

    2.1 딥러닝 기반 볼트 이미지 검출

    RCNN 기반 볼트 검출기

    RCNN을 이용하는 볼트 검출기는 Fig. 2와 같이 영상으로 부터 볼트를 감지한다. 이 같은 볼트 검출기는 두 가지 주요 단계로 구성된다(Girshick et al., 2014). 먼저, 입력된 색상 이미지(input image)를 그레이스케일로 변환하고, 그레이스 케일 이미지에서 경계 상자 개체 영역 후보(regional proposal)를 추출한다. 영역 후보 생성 시 선택적 검색 알고리즘(selective search algorithm)을 이용하였으며, 추출된 영역 후보는 일 정한 크기로 맞추어진다. 다음으로 RCNN을 통해 영역 후보의 특징 벡터(feature vector)를 계산한다. 이후 각 영역 후보는 softmax 분류기에 의해 볼트 또는 배경(볼트 없음)으로 분류 된다.

    RCNN 기반 볼트 검출기의 장점은 슬라이딩 윈도우를 사용 하여 모든 영역을 분류하는 대신 검출기가 볼트가 포함될 가능 성이 있는 잠재적 영역만 처리하는 것이다. 또한 컬러 영상을 그레이스케일 영상으로 변환하면 볼트 검출기가 네트워크 연결 성능을 향상시킬 수 있다.

    볼트 검출을 위한 CNN은 총 15개의 층(layer)으로 구성 되어 있다. 신경망의 기본 계층은 Input, Conv, MaxPool, ReLU, FC, Softmax, Output 층으로 구성되며, 각 층별 정 보는 Table 1과 같다. Input 층(L1)은 초기 입력 그레이스 케일 이미지로 구성된다. Conv 층(L2, L5, L8)은 입력 데이 터를 필터로 전달하며, 각 필터는 볼트의 특성을 활성화한다. MaxPool 층(L3, L7, L10)은 신속한 훈련을 위해 음의 값을 0에 매핑하여 입력데이터 값을 양의 값으로 유지한다. FC 층 (L11, L13)은 신경망의 2차원 특징을 1차원 벡터로 변환한다. Softmax 층(L14)는 softmax 함수를 사용하여 벡터를 범주 형 확률 분포로 정규화한다. Softmax 층의 출력값은 합이 1인 양의 값으로 구성된다. 마지막으로 Output 층(L15)은 Softmax 층에서 발생한 확률값을 사용하여 교차 엔트로피 손실을 계산 하는 분류층이다. 신경망을 통과하는 동안 32(높이)×32(폭)× 1(채널) 크기의 입력 영상은 FC 층(L11)에서 64개의 요소 (1×1×64 크기)로 일반화되며, FC 층(L13)에서 2개의 요소 (1×1×2 크기)로 축소된다. 이는 입력 이미지가 볼트인지 배경 인지 여부를 예측하기 위해 Softmax 층(L14)으로 공급된다.

    RCNN 기반 볼트 검출기의 훈련

    RCNN 기반 볼트 검출기는 신경망 훈련을 위해 전이학습법 (transfer learning)을 채택하였다. 전이학습법은 대량의 훈련 이미지로 사전 훈련(pre-train)하고 이를 새로운 검출 과제 해결을 위한 시작점으로 활용함에 따라, 훈련 데이터 수와 훈련 시간을 크게 줄일 수 있다는 장점이 있다. 볼트 검출기는 CIFAR-10 데이터 세트(Krizhevsky et al., 2009)에 내장된 50,000개의 훈련 이미지를 통해 사전 훈련되었다. 이때 사용 된 훈련 알고리즘은 0.001의 초기 학습률, 8 epoch의 학습률 하강주기 및 128개 이미지의 미니배치 사이즈를 이용하는 확률경사하강법(stochastic gradient decent method)이다. 훈련은 데스크톱 컴퓨터의 GPU(GPU: GTX 1080 Ti Xtreme Edition 11G, CPU: Intel i7-8700K 3.7GHz, RAM: 32GB)에서 수행되었다.

    다음으로 사전 훈련된 신경망은 58개 볼트 연결부 이미지를 이용한 훈련을 통해 볼트 검출에 적합하도록 개선되었다. 사전 훈련 과정이 없으면 RCNN 기반 볼트 검출기 훈련에 훨씬 더 많은 훈련 영상이 필요할 수 있다. Fig. 3(a)는 볼트 검출기 훈련에 사용된 볼트 연결부의 이미지 예이다. 학습이미지용 볼 트 연결부는 8개의 D20 규격 볼트와 회색으로 도색한 스플라 이스 플레이트(310×200×10mm)로 구성되었다. 이미지는 DSLR 카메라(Nicon D7000, Tamron AF 17~50mm, f/2.8)로 다양한 각도 및 조명 조건에서 촬영되었다. 카메라와 볼트연결부까지의 거리는 1m이며, 촬영 영상의 해상도는 3253×4928 픽셀이다. 실제 볼트 영역에 대한 정보 구축을 위 하여 Fig. 3(b)와 같이 볼트 연결부 이미지에 경계박스로 표식 처리하였다.

    확률경사하강법은 1×10-6의 초기 학습률, 100 epoch의 학습률 하강주기 및 128개 이미지의 미니배치 사이즈를 이용 하며, 500 epoch(5,000회 반복)의 반복 훈련이 수행되었다. Fig. 4는 RCNN 기반 볼트 검출기의 훈련 진행 상황을 나타 낸다. 5,000회의 반복 후 볼트 검출기의 정확도는 99.22%로 나타났다(Fig. 4(a)). 교차 엔트로피 손실은 5,000번째 반복 에서 무시할 만큼 매우 작게 나타났다(Fig. 4(b)).

    2.2 이미지 프로세싱 기반 볼트풀림 각도 추정

    호모그래피 기반 원근왜곡 교정

    임의의 촬영 각도 조건에서 취득된 영상의 원근왜곡 현상을 보정하기 위하여 호모그래피(homography) 행렬을 이용하였다. 호모그래피 행렬은 한 평면을 다른 평면에 투영시켰을 때 투영 된 대응점들 사이에 생기는 일정한 변환관계를 표현한다. 왜곡 된 이미지 상의 점 i j = ( u j , υ j , 1 ) 은 식 (1)의 호모그래피 행렬 H 를 통해 동차 좌표 상의 점 w j = ( x j , y j , 1 ) 으로 보정된다 (Yang et al., 2012;Nguyen et al., 2016). 호모그래피 행렬 H 의 결정을 위해서는 Fig. 5와 같이 왜곡된 영상과 보정된 영상의 4개 점 ijwj (j = 1 : 4)의 정보로부터 호모그래피 행렬 요소를 식 (2)와 같이 구성할 수 있다. 이때, 왜곡된 이 미지 상의 4개 점( i 1 , i 2 , i 3 , i 4 )은 볼트 검출기를 통해 추출된 볼트 이미지 중 가장자리 볼트의 좌표를 이용한다. 보정된 이미지상의 4개 점( w 1 , w 2 , w 3 , w 4 )은 볼트 연결부의 실제 치수로 결정할 수 있다.

    i j = H w j , where H = [ h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 ]
    (1)

    [ x 1 y 1 1 0 0 0 u 1 x 1 u 1 y 1 0 0 0 x 1 y 1 1 υ 1 x 1 υ 1 y 1 x 2 y 2 1 0 0 0 u 1 x 2 u 1 y 2 0 0 0 x 2 y 2 1 υ 1 x 2 υ 1 y 2 x 3 y 3 1 0 0 0 u 3 x 3 u 3 y 3 0 0 0 x 3 y 3 1 υ 3 x 3 υ 3 y 3 x 4 y 4 1 0 0 0 u 4 x 4 u 4 y 4 0 0 0 x 4 y 4 1 υ 4 x 4 υ 4 y 4 ] { h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 } = { u 1 υ 1 u 2 υ 2 u 3 υ 3 u 4 υ 4 }
    (2)

    호모그래피 기법을 통해 보정된 볼트 연결부 이미지는 단일 볼트 영상으로 분할한다. 분할된 단일 볼트 이미지로부터 볼트의 각도를 추정하기 위하여 Hough 변환 기반 볼트풀림 각도 추 정기법을 개발하였다. 이 기법은 다음의 과정을 통해 수행된다. 먼저, 볼트 영상의 Hough 변환을 수행하여 너트의 모서리 방정식을 추출한다. 다음으로 너트의 모서리 방정식으로부터 볼트의 회전 각도를 계산하고, 볼트의 초기 각도와 비교하여 그 풀림각도를 결정한다.

    Hough 변환 기반 볼트풀림 각도 추정기

    Hough 변환을 통해 영상 공간(image space)은 직선으로 정의될 수 있는 Hough 공간(hough space)으로 변환된다 (Fig. 6). 영상공간에서 직선은 다음 식과 같이 θ [ π , π ] r≥0로 나타낼 수 있다.

    r = x c o s θ + y s i n θ
    (3)

    식 (3)으로부터 영상공간의 직선은 Hough 공간의 점(θo, r0)로 나타낼 수 있다. Hough 변환을 통해 영상공간의 모든 점은 Hough 공간의 선으로 변환되고, Hough 공간상에서 교차가 많이 발생하는 점은 너트의 모서리에 해당된다. 영상의 노이즈 또는 계산상의 오류로 인한 모서리 검출 오류를 감소시 키기 위하여 다음의 두 가지 제약조건을 설정하였다. 첫째, 검출된 모서리의 수는 육각볼트의 모서리수 인 6 보다 작거나 같다. 둘째, 너트 이미지의 중심에서 검출된 가장자리까지의 거리는 이미지 크기의 1/4 보다 크다.

    Fig. 7은 Hough 변환을 통해 검출된 너트의 모서리로부터 볼트의 각도를 추정하는 원리를 나타낸다. 실제 너트의 j번째 모서리를 한 쌍의 매개변수 θj, rj로 정의하면 수평 축(x축)과 모서리의 각도는 θj + 90°로 정의된다. 너트의 형상은 육각형 태로서 각 모서리의 각도는 다음 식을 통해 일관된 각도로서 0~60° 범위로 나타낼 수 있다. 검출된 너트의 모서리별 각도 αj의 평균값으로부터 볼트의 풀림 각도를 결정한다.

    α j = rem [ ( θ j + 90 ) / 60 ]
    (4)

    3. 거더 볼트연결부 모형의 볼트풀림 손상 검출

    3.1 대상 볼트연결부 모형 및 실험 구성

    본 연구에서 제시한 영상기반 볼트풀림 손상 검출 기법의 성능 검증을 수행하였다. 이를 위해 Fig. 8(a)와 같이 거더 볼트연 결부 모형을 제작하였다. 대상 볼트연결부는 8쌍의 볼트-너트 (D20)와 스플라이스 플레이트(310×200×10mm)로 구성된다. 볼트 연결부의 영상 취득을 위하여 스마트폰 카메라(iPhone, AF 28mm, f/2.4)를 이용하였다. 취득된 영상의 해상도는 4032×3024 픽셀이다. 볼트 연결부의 영상은 실내 조건에서 삼각대를 사용하지 않고 1.5m 거리에서 촬영되었다. 실제 현장에서 정면 촬영이 어려울 수 있는 점을 고려하여 0~50° 범위내의 다양한 수평 및 수직방향 촬영 각도에서 영상을 취득 하였다. Fig. 9는 여러 가지 촬영 각도에서 취득된 볼트연결부 영상을 나타낸다. 촬영 각도가 증가함에 따라 원근왜곡 현상이 더욱 커짐을 확인할 수 있다.

    서로 다른 풀림 정도에 대한 볼트풀림 손상 검출 성능을 검토 하였다. 이를 위해 네 개 볼트(Bolt 1, 3, 6, 8)에 대하여 서로 다른 정도의 풀림 상태를 모사하였다. Bolt 1은 5°, Bolt 3은 16.5°, Bolt 6은 10°, Bolt 8은 30°의 볼트풀림 손상을 재현 하였다.

    3.2 영상 기반 볼트풀림 손상 검출

    제안된 영상기반 볼트풀림 손상 검출 기법을 통해 거더 볼트 연결부 모형의 볼트풀림 손상을 추정하였다. 비손상 및 손상 조건하에 촬영된 176개의 볼트 연결부 이미지에 대하여 손상 검출 기법을 적용하였다.

    먼저, 2.1절의 RCNN 기반 볼트 검출기를 이용하여 볼트 연결부 영상으로부터 개개의 볼트를 검출하였다. Fig. 10은 정면에서 촬영된 볼트 연결부 영상에 대한 볼트 검출 결과를 나타내며, 8개의 볼트가 성공적으로 검출되었다.

    원근왜곡의 정도에 따른 영상별 볼트 검출 정확도를 분석하 였다. 0~50° 범위의 수직 및 수평 촬영 각도에 대해 검토하였다. 그 결과, Fig. 11에 도시한 바와 같이 30° 이하의 수평 및 수직 촬영 각도에서는 8개의 모든 볼트가 정확하게 검출되었다. 촬영 각도가 증가함에 따라 볼트 검출률이 점차 감소하는 경향을 보였다. 50°의 촬영 각도 조건에서 수평방향의 경우 검출률이 약 65%까지 감소하였으며, 수직방향의 경우 33%의 볼트만이 검출되었다. 볼트 연결부 이미지 촬영은 실내에서 수행되었 으며, 실내 천장에 설치된 조명으로부터 광원이 제공되었다. 수직방향 촬영각도의 변화는 영상 밝기의 변화를 야기하여 수평방향 촬영각도 변화에 비해 볼트 검출률이 다소 낮게 나타난 것으로 판단된다.

    다음으로, 2.2절의 이미지 프로세싱 기반 볼트풀림 각도 추정 기법을 통해 각 볼트의 각도를 산정하였다. 먼저, 볼트 연결부 영상은 호모그래피를 기반으로 원근왜곡을 교정하고 단일 볼트 이미지로 각각 분할하였다. 또한, Hough 변환을 통해 너트의 모서리를 검출하였다. Fig. 12(a)는 단일 볼트 이미지로 분할 된 8개의 볼트 이미지를 나타내며, Fig. 12(b)는 각각의 단일 볼트 이미지로부터 검출된 모서리를 보여준다. Fig. 7의 기하 학적 특성으로부터 식 (4)와 같이 0~60° 범위 내의 볼트풀림 각도로 산정하였다. 손상 여부를 판정하는 임계값 결정을 위하여 99.7%의 신뢰수준을 갖는 상한관리치(upper control limit, UCL)를 산정하였다. 만약, 상한관리치를 초과할 경우 볼트 풀림손상이 발생한 것으로 판정할 수 있으며, 상한관리치 값은 볼트풀림 검출의 정확도를 평가하기 위한 지표로도 사용될 수 있다.

    Fig. 13(a)는 볼트 연결부의 정면에서 촬영된 이미지로부터 수행된 볼트풀림 손상 검출 결과이다. 상한관리치 값은 2.58°로 산정되었으며, 볼트풀림 손상이 발생함에 따라 풀림각도(rotational angle) 값이 크게 변화하였다. 4 곳의 볼트풀림 손상 발생 여부 및 풀림 각도까지 정확하게 추정되었다. Fig. 13(b) 는 20°의 원근왜곡 조건에 대한 결과이다. 상한관리치 값은 3.75°로 정면 촬영 이미지 경우에 비해 다소 높게 산정되었다. 4개의 볼트풀림 손상은 모두 손상으로 정확하게 판정되었으며 풀림각도 또한 정확하게 추정되었다. Fig. 13(c)는 40°의 원 근왜곡 조건에 대한 결과이다. 상한관리치 값은 5.27°로 산정 되었다. 이에 따라 풀림각도가 5°인 Bolt 1은 손상은 검출되 지 못하였으며, 나머지 3개 볼트 손상은 성공적으로 검출되 었다.

    4. 결 론

    본 연구에서는 영상자료를 이용하는 볼트풀림 손상 검출 기법을 제시하였다. 이를 위해 먼저, 볼트풀림 손상 검출 기법 으로서 RCNN 알고리즘을 이용한 볼트 검출기법과 및 이미지 프로세싱 기법을 이용한 볼트 풀림각도 추정 기법을 병합 구성 하였다. 다음으로 제안된 영상기반 볼트풀림 검출 기법은 거더의 볼트연결부 모형에 대한 볼트풀림 검출 실험을 수행하고 영상의 원근왜곡 조건에 대한 손상검출 성능을 분석하였다. 볼트 이미지 검출 성능의 경우, 40° 이하의 수평 및 수직 원근 왜곡 조건에 대해 80% 이상의 높은 검출률을 보였다. 볼트풀림 각도 검출 성능의 경우, 원근 왜곡 정도가 커짐에 따라 풀림각도 검출 정확도가 감소하는 경향을 보였으며 40°의 원근왜곡 조건에 대하여 약 5°의 작은 검출 오차가 발생하는 것으로 분석되었다.

    감사의 글

    본 연구는 국토교통부의 재원으로 국토교통과학기술진흥원 의 지원을 받아 수행된 국토교통기술촉진연구사업(18CTAPC142999- 01)의 일부로 수행되었습니다.

    Figure

    COSEIK-32-4-265_F1.gif

    Schematic of vision-based bolt-loosening detection method

    COSEIK-32-4-265_F2.gif

    Architecture of RCNN-based bolt detector

    COSEIK-32-4-265_F3.gif

    Architecture of RCNN-based bolt detector

    COSEIK-32-4-265_F4.gif

    Training progress of the RCNN-based bolt detector

    COSEIK-32-4-265_F5.gif

    Projective transformation for perspective correction

    COSEIK-32-4-265_F6.gif

    The principle of Hough line transform

    COSEIK-32-4-265_F7.gif

    Bolt angle estimation using detected nut edges

    COSEIK-32-4-265_F8.gif

    Experimental setup of bolted girder connection

    COSEIK-32-4-265_F9.gif

    Bolted connection images captured from different perspectives

    COSEIK-32-4-265_F10.gif

    Bolt identification from image of lab-scale girder connection

    COSEIK-32-4-265_F11.gif

    Accuracy of rcnn-based bolt detector for different perspective

    COSEIK-32-4-265_F12.gif

    Segmented bolts and its detected edges for lab-scale girder connection

    COSEIK-32-4-265_F13.gif

    Bolt-loosening detection in lab-scale bolted girder connection for perspective distortion

    Table

    Dimensions of CNN layers and operators

    Reference

    1. KOSTAT (2019) E-nara index, http://www.index.go.kr/.
    2. Abdeljaber, O. , Avci, O. , Kiranyaz, M.S. , Boashash, B. , Sodano, H. , Inman, D.J. (2018) 1-D CNNs for Structural Damage Detection: Verification on a Structural Health Monitoring Benchmark Data, Neurocomput., 275, pp.1308~1317.
    3. Cha, Y.J. , Choi, W. , Büyüköztürk, O. (2017) Deep Learning-Based Crack Damage Detection Using Convolutional Neural Networks, Comput.-Aided Civil & Infrastruct. Eng., 32(5), pp.361~378.
    4. Cha, Y.J. , You, K. , Choi, W. (2016) Vision-based Detection of Loosened Bolts using the Hough Transform and Support Vector Machines, Autom. Constr., 71, pp.181~188.
    5. Girshick, R. , Donahue, J. , Darrell, T. , J. Malik, J. (2014) Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation, 2014 IEEE Conf. Comput. Vision & Pattern Recognit., Jun. 2014, Columbus, USA.
    6. Gu, J. , Wang, Z. , Kuen, J. , Ma, L. , Shahroudy, A. , Shuai, B. , Liu, T. , Wang, X. , Wang, L. , Wang, G. (2015) Recent Advances in Convolutional Neural Networks, PatternRecognit., 77, pp.354~377.
    7. Janssens, O. , Slavkovikj, V. , Vervisch, B. , Stockman, K. , Loccufier, M. , Verstockt, S. , Van de Walle, R. , Van Hoecke, S. (2016) Convolutional Neural Network Based Fault Detection for Rotating Machinery, J. Sound & Vib., 377, pp.331~345.
    8. Krizhevsky, A. , Hinton, G. (2009) Learning Multiple Layers of Features from Tiny Images, Technical Report TR-2009, University of Toronto, Toronto.
    9. Nguyen, T.C. , Huynh, T.C. , Ryu, J.Y. , Park, J.H. , Kim, J.T. (2016) Bolt-loosening Identification of Bolt Connections by Vision Image-based Technique, SPIE Smart Struct. & Mater. + Nondestruc. Eval. & Health Monit., Mar. 2016, Las Vegas, USA.
    10. Park, J.H. , Huynh, T.C. , Choi, S.H. , Kim, J.T. (2015) Vision-based Technique for Bolt-loosening Detection in Wind Turbine Tower, Wind & Struct., 21(6), pp.709~726.
    11. Yang, S. , Ho, C.C. , Chen, J. , Chang, C. (2012) Practical Homography-Based Perspective Correction Method for License plate Recognition, 2012 Int. Conf. Inf. Secur. & Intell. Control, Aug. 2012, Yunlin, Taiwan.
    12. Zhao, X. , Zhang, Y. , Wang, N. (2019) Bolt Loosening Angle Detection Technology using Deep Learning, Struct. Control & Health Monit., 26(1).