A study on Memory Analysis Bypass Technique and Kernel Tampering Detection

Malware, such as a rootkit that modifies the kernel, can adversely affect the analyst's judgment, making the analysis difficult or impossible if a mechanism to evade memory analysis is added. Therefore, we plan to preemptively respond to malware such as rootkits that bypass detection through advanced kernel modulation in the future. To this end, the main structure used in the Windows kernel was analyzed from the attacker's point of view, and a method capable of modulating the kernel object was applied to modulate the memory dump file. The result of tampering is confirmed through experimentation that it cannot be detected by memory analysis tool widely used worldwide. Then, from the analyst's point of view, using the concept of tamper resistance, it is made in the form of software that can detect tampering and shows that it is possible to detect areas that are not detected by existing memory analysis tools. Through this study, it is judged that it is meaningful in that it preemptively attempted to modulate the kernel area and derived insights to enable precise analysis. However, there is a limitation in that the necessary detection rules need to be manually created in software implementation for precise analysis.

메모리 분석 우회 기법과 커널 변조 탐지 연구

커널을 변조하는 루트킷과 같은 악성코드가 만약 메모리 분석을 회피하기 위한 메커니즘을 추가하게 될 경우, 분석이 어려워지거나 불가능하게 되면서 분석가의 판단에 악영향을 미칠 수 있다. 따라서 향후 고도화된 커널 변조를 통해 탐지를 우회하는 루트킷과 같은 악성코드에 선제적으로 대응하고자 한다. 이를 위해 공격자의 관점에서 윈도우 커널에서 사용되는 주요 구조체를 분석하고, 커널 객체를 변조할 수 있는 방법을 적용하여 메모리 덤프 파일에 변조를 진행하였다. 변조 결과 널리 사용되는 메모리 분석 도구에서 탐지가 되지 않는 것을 실험을 통해 확인하였다. 이후 분석가의 관점에서 변조 저항성의 개념을 사용하여 변조를 탐지할 수 있는 소프트웨어 형태로 만들어 기존 메모리 분석 도구에서 탐지되지 않는 영역에 대해 탐지 가능함을 보인다. 본 연구를 통해 선제적으로 커널 영역에 대해 변조를 시도하고 정밀 분석이 가능하도록 인사이트를 도출하였다는 데 의의가 있다 판단된다. 하지만 정밀 분석을 위한 소프트웨어 구현에 있어 필요한 탐지 규칙을 수동으로 생성해야 한다는 한계점이 존재한다.