Ai 기초 프로그램

메모리 관리 numa 관련

부반장
2021.12.15 14:31 11,188 0

본문

(개인 수첩)

이번에 고성능 그래픽 카드를 추가하는 관계로 그간 모르고 지나 왔던 문제에 대해 적어 본다.

다중 CPU 사용할 때 메모리 병목 현상이 발생할 경우도 있고, 메모리 관리가 되지 않을 경우가 있다. 

내가 사용하는 워크스테이션의 경우 2CPU-24 스레드, 96GBi이다.

tensflow 구동중 발생하는 메모리 관련해서 문제가 좀 발생하고 있다.

최종 결과는 이렇게 나와야 한다.

 

$numastat 결과이다.

553172f72190a36debd4920369d295d1_1639545676_3614.png
 

​그동안 사용했던 것은 node0 만 있었던 것이 문제이다. 

cpu 2개 이니 node 가 두 개 잡혀야 하는데..

사실상 많은 혼돈이 있었다.

bios에서는 당연히 node interleaving을 enable을 설정하는 것으로 하였지만..

node0만 설정이 되었다.

그래서 bios에서 node interleaving을 disable로 설정하고, split로 변경하고 나니

상기 그림과 같이 node가 0, 1로 구분되어 메모리 관리가 된다.

(구굴링 해도 없다. 누군가 이런거 적어 두었으면 시간낭비를 줄일 수 있을 것인데..)

 

$numactl --hardware

 

553172f72190a36debd4920369d295d1_1639546195_8377.png
 

이렇게 각 프로세서별 node가 깔끔하게 정리가 되었다.

 

아직 산넘어 산이다.

또 다른 문제 해결은 다음 게시물에서 적어 보기로 한다.

 

 

 

댓글목록 0

등록된 댓글이 없습니다.
전체 4 건 - 1 페이지
제목
부반장 11,001 2022.10.17
designs40 11,493 2022.01.15
부반장 11,189 2021.12.15
관리자 11,186 2021.11.25