Autify Nexus 테스트 결과 트러블슈팅

Autify Nexus에서 테스트를 실행할 때 예기치 않은 단계(Step)의 동작이나 테스트 결과가 발생한 경우, 당사 지원 팀에 문의하기 전에 문제를 직접 트러블슈팅하고 원인을 파악하거나 해결할 수 있는 몇 가지 방법이 있습니다.

테스트 결과 분석

예기치 않은 단계 실패가 발생한 경우, 전체적인 테스트 결과를 주의 깊게 살펴보는 것부터 시작하는 것이 좋습니다.

실패한 단계뿐만 아니라 그 이전 단계들도 반드시 함께 확인해야 합니다. 이전 단계에서의 눈에 띄지 않는 실패(Silent failure)나 동작 변화가 하위 단계에 영향을 미쳐 예기치 않은 테스트 결과를 초래할 수 있습니다.

다음은 문제를 좁히는 데 도움이 되는 테스트 결과 페이지의 확인 항목들입니다.

에러 메시지 확인

실패한 단계 자체에 기록된 에러는 매우 유용한 정보가 됩니다. 에러 메시지를 주의 깊게 읽고 실패가 발생한 원인에 대한 단서가 있는지 확인해 보세요. Autify Nexus의 문제일 수도 있지만, 지난번 테스트를 실행한 이후 웹사이트에 변경 사항이 생겼음을 의미하는 지표일 수도 있습니다.

예시

예를 들어, 다음 element를 찾을 수 없음 에러를 살펴보겠습니다.

마지막 줄은 Autify Nexus가 msmx-sheet-APPLICATION-r19:-input-id 라는 ID를 가진 요소를 찾고 있었음을 보여줍니다.

하지만 대상 페이지를 조사해 보면, 현재 타겟 요소는 다음과 같은 마크업을 가지고 있습니다.

<input class="slds-input" id=":msmx-sheet-APPLICATION-r5z:-input-id" />

ID가 변경되었으며, 구조상 동적으로 생성된 ID인 것으로 보입니다.

이러한 경우, 요소를 업데이트하여 data-testid 속성을 추가하는 등 더 안정적인 로케이터를 마크업에 포함시킨 후, 새 로케이터를 사용하도록 단계를 다시 녹화하거나 업데이트하는 것이 좋은 해결책이 될 수 있습니다.

스크린샷 확인

각 단계의 스크린샷을 클릭하면 테스트 실행 중인 페이지의 상태를 확인할 수 있으며, 해당되는 경우 이전의 성공적인 실행 결과와 비교할 수도 있습니다. 스크린샷에 특정 동작이 발생하는 이유에 대한 단서가 포함되어 있을 수 있습니다.

예시

다음 텍스트 어서션(단계 9)을 예로 들어보겠습니다.

이것은 이전에는 성공했으나 현재는 실패하기 시작한 토스트 메시지에 대한 텍스트 어서션입니다.

스크린샷을 보면 화면 오른쪽 아래에 토스트 메시지가 누락되어 있는 것이 명확히 보입니다. Autify Nexus가 어떤 이유로든 예상대로 토스트 메시지를 트리거하지 못한 것일까요?

이전 단계들을 살펴보면 실제 문제가 무엇인지 알 수 있습니다.

단계 5~7의 스크린샷을 보면 토스트 메시지가 예상대로 페이지 오른쪽 아래에 트리거되었지만, 3초 후에 사라졌음을 보여줍니다.

이러한 경우의 해결책은 토스트 메시지의 지속 시간을 늘리거나, 가능하다면 시나리오 내의 슬립(대기) 시간을 줄이는 것입니다.

브라우저 로그 확인

브라우저 콘솔 로그는 단계 우측에 있는 색상 사각형 버튼을 클릭하여 확인할 수 있습니다.

개발 중에 사이트에서 콘솔에 유용한 디버깅 정보를 기록하도록 설정해 두었다면, 무엇이 잘못되었는지 확인할 수 있는 좋은 방법이 됩니다.

예시

예를 들어, 아래의 콘솔 로그 에러(ERROR)는 테스트 실행 중 CORS 에러로 인해 일부 콘텐츠가 차단되었음을 보여줍니다.

테스트 실행 중 필요한 콘텐츠에 접근하지 못해 단계가 실패한 것으로 결론을 내릴 수 있으며, 추가 조사를 위해 사내 엔지니어링 팀에 이 문제를 보고할 수 있습니다.

Autify Nexus를 사용하지 않고 동작 확인

마지막으로 Autify Nexus를 사용했을 때와 비교하여 사이트에 변경 사항이 없는지 확인하는 것도 도움이 됩니다. 일반 브라우저 세션에서 대상 사이트의 작업을 수동으로 테스트해 보면, 해당 문제가 Autify Nexus를 사용할 때만 발생하는지 판단하는 데 도움이 됩니다.

공식 문서 사이트 확인

당사의 문서(Documentation) 사이트를 검색해 보시는 것도 권장합니다! 예를 들어, "Autify Nexus 기능" 섹션에서 관련 문서를 읽고 현재 사용 사례가 적절한지 확인해 보세요. 또는 "트러블슈팅" 섹션을 확인하여 현재 겪고 있는 문제가 등록되어 있는지, 이미 알려진 트러블슈팅 단계로 해결하거나 확인할 수 있는지 체크해 보세요.

테스트 실행 방식 변경

테스트 실행 방식을 바꾸는 것만으로도 문제에 대한 가치 있는 인사이트를 얻을 수 있습니다. 예를 들면 다음과 같습니다:

로컬 실행과 클라우드 실행 간의 전환
헤디드(Headed) 모드와 헤드리스(Headless) 모드 간의 전환 [로컬 실행] [클라우드 실행]
현재 테스트 플랜이나 데이터를 사용하여 그룹으로 실행 중인 시나리오를 단독으로 실행
공유 그룹 단계를 해제하고 대신 로컬 참조를 사용

환경 변경

문제에 따라 테스트를 실행하는 환경을 변경해 볼 수도 있습니다. 다음 항목들이 포함됩니다:

테스트 실행에 사용하는 브라우저 변경
로컬에서 테스트를 실행하는 경우, 컴퓨터가 연결된 네트워크 변경
로컬에서 테스트를 실행하는 경우, 컴퓨터 자체를 변경
접근 가능한 다른 컴퓨터가 있다면 다른 컴퓨터 사용
동료에게 동일한 테스트나 작업을 시도해 보라고 요청하여 결과 확인

고객 지원 문의

위의 가이드라인을 따라도 문제를 완전히 해결하지 못하더라도, 문제에 대한 보다 명확한 개념과 어디서, 왜 발생했는지에 대한 단서를 얻을 수 있습니다.

지원 팀에 문의하실 때는 문제를 더 신속하게 이해하고 해결할 수 있도록 다른 필수 정보와 함께 초기 트러블슈팅 결과도 함께 보내주시기 바랍니다.

Documentation Index