자연 언어 스텝

자연 언어 스텝 기능은 Nexus AI 에이전트 옵션을 계약하신 고객님만 이용 가능합니다.
자연 언어 스텝은 현재 베타 버전으로 제공되는 실험적인 기능입니다. 향후 사양이 변경될 수 있으니 미리 양해 바랍니다.

자연 언어 스텝은 AI를 활용한 강력한 기능입니다. 일반 스텝과 달리 자연 언어 스텝에서는 테스트 실행 시마다 AI가 프롬프트를 해석하고, 그 시점의 화면 상황에 따라 조작을 실행합니다.

이 자연 언어 스텝은 다음과 같은 경우에 유용합니다.

페이지에 표시된 정보를 사용하는 조작
- 예: 화면에 표시된 사용자 이름과 비밀번호를 사용하여 로그인합니다.
- 예: 매번 무작위로 생성되는 확인 코드를 읽어 입력합니다.
동적으로 내용이 변하는 요소 검증
- 예: 접속할 때마다 값이 변하는 테이블 내의 수치를 비교・검증합니다.
더 추상적인 지시에 기반한 조작
- 예: 유효하지 않은 인증 정보로 로그인을 시도와 같이 구체적인 데이터를 제공하지 않고 AI가 조작을 판단하게 합니다.

또한 시나리오 전체를 자연 언어 스텝으로 구성하거나, 동적 캘린더 조작 등 특정 부분만 자연 언어 스텝에 맡기고 나머지는 일반 스텝과 조합하는 것도 가능합니다.

자연 언어 스텝 생성 방법

시나리오 상세 페이지에서 생성

시나리오 편집 화면을 열고 스텝을 추가하려는 위치에서 스텝 삽입을 클릭합니다.
표시된 선택지 중에서 자연 언어 스텝을 선택합니다.
프롬프트 입력용 모달이 나타나면 AI에게 실행시키고 싶은 조작을 자연어로 입력합니다.
입력이 완료되면 삽입을 클릭하고 저장을 클릭하여 시나리오를 저장합니다.

레코딩 중 생성

레코딩 중에 레코딩 툴바에 표시된 AI 에이전트를 클릭해요.
표시된 선택지에서 자연어 스텝을 선택해요.
AI가 실행할 동작을 자연어로 입력하면, AI가 동작을 수행하고 시나리오에 자연어 스텝이 추가돼요.

자연 언어 스텝의 특성
자연 언어 스텝은 기능의 특성상 AI가 기대하는 대로 동작하지 않을 수 있습니다. 따라서 자연 언어 스텝 다음에는 기대하는 상태가 되었는지 확인하는 어설션 스텝을 추가하는 것을 권장합니다.

프롬프트 작성 예시

프롬프트는 단일 조작부터 여러 절차를 포함하는 테스트 케이스까지 유연하게 작성할 수 있습니다.

더 구체적인 지시 예시

사용자 이름에 test@example.com, 비밀번호에 password123을 입력하여 로그인하고, 대시보드 화면에 "환영합니다, 테스트 사용자님"이라는 텍스트가 표시되는지 확인합니다.

Gherkin 형식을 사용한 전체 테스트 케이스 작성 예시

전제: 로그인 페이지에 있음
                            만약: 페이지에 기재된 올바른 인증 정보를 입력함
                            그리고: 로그인 버튼을 클릭함
                            그러면: 로그인이 성공함

실행 결과 확인

자연 언어 스텝을 실행하면 테스트 결과 상세 화면에서 AI가 실제로 수행한 일련의 조작이 아래 스크린샷과 같이 하위 스텝으로 표시됩니다.

AI는 최적의 조작을 찾기 위해 시행착오를 겪을 수 있으므로 하위 스텝의 일부가 실패로 기록될 수 있습니다. 이는 AI가 다른 방법을 시도하는 과정이며, 반드시 전체 테스트의 실패를 의미하는 것은 아닙니다.
또한 테스트를 실행할 때마다 AI가 프롬프트를 해석하므로, 하위 스텝의 내용이 실행될 때마다 변경될 수 있습니다.
테스트 결과가 예상과 다를 경우 프롬프트 변경을 시도해 보세요.

AI의 판단 이유를 확인하는 방법

AI가 프롬프트를 어떻게 해석하여 조작을 수행했는지 그 사고 과정의 일부를 확인하고 싶을 때가 있습니다. 프롬프트에 지시를 추가하여 AI가 판단 이유 등을 출력하게 할 수 있습니다.

예를 들어, 프롬프트 끝에 수행한 조작의 이유를 콘솔 로그에 출력해 주세요와 같은 문장을 추가합니다.

이렇게 하면 AI가 실행 중에 출력한 정보가 테스트 결과 상세 화면의 로그 탭 안에 있는 브라우저 로그에 기록됩니다. 테스트가 예상대로 동작하지 않을 경우 디버깅 등에 활용해 보세요.

자연 언어 스텝의 제약 사항

AI에 의한 수정: 이 스텝에서는 로케이터를 기록하지 않으므로 AI에 의한 수정 기능은 지원되지 않습니다.
성능에 미치는 영향: 자연어 해석에는 대규모 언어 모델(LLM) 처리가 수반되므로 일반 스텝보다 실행 시간이 더 오래 걸릴 수 있습니다. 대부분의 경우, AI가 생성한 하위 스텝의 실행 시간 합계보다 자연 언어 스텝 전체의 실행 시간이 10~20초 정도 더 길어집니다.
Playwright 코드로 내보내기: 이 스텝은 코드를 생성하지 않으므로 Playwright 코드로 내보내기 대상에서 제외됩니다.
변수 사용: 워크스페이스 변수나 다른 스텝의 출력값을 프롬프트 내에서 사용할 수 없습니다.

자연어 단계를 노코드 단계로 변환하기

[테스트 결과 상세] 화면에서 [자연어 단계]에 의해 실행된 단계를 고정된 [노코드 단계]로 저장할 수 있습니다.

[자연어 단계]를 [노코드 단계]로 변환하면 테스트 재현성이 향상될 수 있습니다.

조작 방법

테스트 결과 목록에서 해당 테스트 결과를 선택하여 [테스트 결과 상세] 화면을 엽니다.
단계 목록을 확인하고, 변환하려는 [자연어 단계]의 행에 있는 [노코드 스텝으로 변환] 버튼을 클릭합니다.
변환이 성공하면 "자연어 단계를 노코드 단계로 변환했습니다."라는 메시지가 표시됩니다.

사양 및 동작

변환을 수행하면 [시나리오]는 다음과 같이 업데이트됩니다.

원래의 자연어 단계: 삭제되지 않고 남지만, 비활성화(회색 처리)된 상태가 됩니다.
생성된 단계: 원래 단계 바로 뒤에 [노코드 단계]로 새로 추가됩니다.
스크린샷: 추가된 각 단계에는 실행 시의 스크린샷 정보가 포함됩니다.

다음의 경우 [노코드 스텝으로 변환] 버튼이 비활성화(회색 처리)되어 변환할 수 없습니다.

원래 단계가 비활성화된 경우: "비활성화된 자연어 단계는 노코드 단계로 변환할 수 없습니다."
성공한 생성 단계가 없는 경우: [자연어 단계] 자체는 성공했더라도, 그 안에서 생성된 단계 중 성공한 것이 하나도 없으면 변환할 수 없습니다. ("자연어 단계에 의해 생성된 단계에는 성공한 것이 포함되지 않습니다.")

주의 사항

조작 취소 불가: 한 번 변환을 실행하면 원래 상태로 되돌릴 수 없습니다.
- 기록에서 시나리오 복원하기 를 사용하여 이전 버전으로 되돌려 주세요.
성공한 단계만 변환: 생성된 단계 중 실행에 성공한 것만 변환 및 저장됩니다. 실패한 단계는 제외됩니다.
공유 그룹에 미치는 영향: [자연어 단계]가 [공유 그룹] 내에 존재하는 경우, 변환을 실행하면 [공유 그룹] 자체가 업데이트됩니다. 해당 [공유 그룹]을 참조하는 모든 [시나리오]에 변환된 단계가 반영됩니다.