안녕하세요!
개인미션 6주차 포스팅입니다 :)
지난 주에는 parameter 값을 변경하면서
모델의 정확도를 높이는 값을 찾아 보았는데요,
이번 주는 4주차에 발견한 오류를 해결하고
전체 데이터를 이용해 모델을 실행하는
과정을 담아보려 합니다 :)
오류 해결하기
SVM Classification Train 함수를 실행하면
12시간정도 소요된 후
함수가 실행 완료되지만
결과가 나오지 않아서
그 다음 함수인
SVM Classification Predict 함수가
실행되지 않는 오류가 발생했었는데요,
관련 내용을 브라이틱스 CS팀에
문의드렸습니다..!
문의 메일 전송 후 일주일 가까이를
기다려도 답신이 오지 않아서
전화를 드렸었는데,
제가 보낸 문의 메일이
전달 되지 않았다는겁니다..!!
충격에 빠져 살펴보니,,,
제가,, 메일주소를,,,
잘못썼더군요,,,
허허
여러분은 저 같은 실수 하지마세요ㅠㅜㅠㅜㅠㅜㅠ
브라이틱스 CS 팀 메일 주소는
brightics.cs@samsung.com 이랍니다..
다시 제대로 메일주소를 입력한후
문의를 드리자 2일만에..!
답신이 왔답니다
답신 메일의 내용을 설명드리자면,
모든 함수의 수행시간은
최대 12시간으로 설정되어있는데,
SVM Classification Predict 함수에
큰 데이터와 파라미터 값을 적용해 실행시켜서
함수가 최대 시간을 넘겨 실행되었고,
이로 인해 함수가 정상적으로 종료되지 않아
해당 오류가 생겼을 가능성이 높다..!
는 내용과 함께
함수 수행 최대시간을 변경하는 방법을
안내받았습니다!
* OS 별 함수 수행 최대 시간 변경 방법
- 24시간으로 변경 : 86400 입력 (60*60*24 = 86400, 초 단위로 변환)
- Windows 의 경우
brightics-studio\brightics-server\start-server.cmd 파일에
SET BRTC_DL_WORKSPACE=%BRTC_DL_HOME%\workspace 아랫줄에 BRIGHTICS_SESSION_EXPIRATION 변수 추가
SET BRIGHTICS_SESSION_EXPIRATION=86400
- mac OS, Linux 의 경우
brightics-studio/brightics-server/start-server.sh 파일에
export BRTC_DL_WORKSPACE=%BRTC_DL_HOME%\workspace 아랫줄에 BRIGHTICS_SESSION_EXPIRATION 변수 추가
export BRIGHTICS_SESSION_EXPIRATION=86400
따라서 함수의 최대 수행시간을 늘려서
모델을 실행시키면
함수가 정상적으로 종료되면서
적당한 출력값을 갖게 될 것이고
오류가 해결될 거라고 예상할 수 있습니다!
하지만 언제까지나 예상이니까요..!
검증이 필요하겠죠?!
Window OS 를 사용하고 있으므로,
Window 설명을 따라
설정을 변경합니다!
일단 최대 함수 수행 시간을
10분으로 설정 해보았습니다.
전체 데이터로 실행하면
15분정도 소요되는
Doc2Vec 함수를 실행해보면
10분 내외로 함수가 종료되는 것을
확인할 수 있는데요,
분명 Dimension 값을 10으로 설정했기 때문에
10개의 열이 출력되야하는데
100개의 열이 출력되는 것을 확인할 수 있죠?!?!
따라서 이것은 이전에 실행해 둔
결과값이 나온 것 뿐이고
실제로 Doc2Vec 함수는
시간이 부족해서 정상적으로 완료되지 못하고
함수가 종료되었음을 확인할 수 있습니다..!!@!
전체 데이터로 모델 실행하기
자, 그럼 제대로 실행이 되도록 하려면
최대 함수 시간을 충분히 늘려줘야겠죠?!
24시간도 부족할 것 같아서
48시간으로 늘려주었습니다....만....
아니,,, 정말로 하루가 넘을 줄은 몰랐죠,,,
이번 주도 결과물 작성은
힘들겠네요... 허허
그래도 오류 원인을 찾았다는 것만으로도
아주 산을 한개 넘었다고 볼 수 있지요..!!
함수는 제가 열심히 열심히 돌려서
다음주엔 정말 결과물이랑 함께 돌아올게요,,ㅠㅠ
그럼 앙뇽,,!
* 해당 게시글은 Brightics 서포터즈 활동의 일환으로 작성되었습니다.
게시글 관련 문의 및 소통을 원하신다면 댓글을 남겨주세요 :)
브라이틱스 사용 중 문의사항은 brightics.cs@samsung.com 으로 연락주세요!
#삼성SDSBrightics #BrighticsStudio #BrighticAI #브라이틱스 #모델링 #코딩없이분석하기 #데이터분석 #군집분석 #군집분석모델 #Clustring #Clustering_without_coding #코딩없이군집분석모델링하기 #빅데이터 #데이터사이언티스트 #데이터분석툴 #데이터분석플랫폼 #데이터분석툴체험하기 #분석모델제작하기 #무료데이터분석툴 #오픈소스 #삼성SDS #삼성SDS서포터즈 #Brightics서포터즈 #Brightics서포터즈2기 #데이터사이언티스트 #DS #데이터컨설팅 #데이터컨설턴트 #Brightics서포터즈개인미션 #공공데이터수집 #자연어분석 #Text_Classification #데이터전처리 #모델생성 #모델비교 #분석모델정확도판단 #분석모델정확도비교
'SDS Brightics > Projects' 카테고리의 다른 글
| [삼성 SDS Brightics] 개인 분석 프로젝트 ୧(`•ω•´)୨ #8. 최종 모델로 Test Data 분석하기 (0) | 2021.10.19 |
|---|---|
| [삼성 SDS Brightics] 개인 분석 프로젝트 ୧(`•ω•´)୨ #7. 최종 모델 선정 & 실행하기 (0) | 2021.10.12 |
| [삼성 SDS Brightics] 개인 분석 프로젝트 ୧(`•ω•´)୨ #5. 모델 정확도 높이기 (0) | 2021.09.28 |
| [삼성 SDS Brightics] 개인 분석 프로젝트 ୧(`•ω•´)୨ #4. 오류 발생?! (1) | 2021.09.23 |
| [삼성 SDS Brightics] 개인 분석 프로젝트 ୧(`•ω•´)୨ #3. 감정 단어 추출을 통한 데이터 파악하기 (0) | 2021.09.14 |