DeepAutoQSAR 하드웨어 벤치마크

요약

• 이 벤치마크는 서로 다른 하드웨어 구성과 모델 훈련 시간을 사용하여, 크기가 서로 다른 두 데이터셋에서DeepAutoQSAR의성능을 평가합니다.
• 결과와 하드웨어 비용을 종합하여, 당사의 일반적인 권장 사항은 NVIDIA T4 GPU 하드웨어를 사용하여 다음과 같은 훈련 시간을 적용하는 것입니다. 데이터 포인트가 1,000개 미만인 데이터 세트의 경우 2시간, 1,000개에서 10,000개 사이인 경우 4시간, 10,000개 이상인 경우 8시간입니다.
• 성능은 궁극적으로 데이터에 따라 달라지지만, 이 벤치마크의 목적은 머신러닝 모델 훈련에 사용할 하드웨어와 구체적인 모델 훈련 시간을 선택하는 데 있어 출발점을 제공하는 데 있습니다. 실제 성능은 특정 데이터셋에 따라 크게 달라질 수 있으며, 원하는 결과를 얻기 위해서는 훈련 시간을 늘리거나 다른 GPU를 선택해야 할 수도 있습니다.

서론

신약 후보물질의 분자적 특성을 예측하기 위해 기계 학습( 머신러닝 , ML)을 적용하는 것은 임상 개발( 신약 개발 ) 기간을 단축하고, 심각한 미충족 의료 수요가 있는 환자를 위한 의약품 개발을 가속화할 잠재력을 지닌 중요한 연구 분야입니다.

머신러닝을 성공적으로 적용하기 위해서는 충분한 양과 품질의 데이터, 주어진 문제에 적합한 모델 아키텍처, 적절한 하이퍼파라미터 선택(특정 머신러닝 모델 아키텍처의 매개변수), 그리고 선택한 하드웨어 구성에 맞는 적절한 모델 훈련 시간이 필요합니다.

DeepAutoQSAR는사용자가 화학 구조를 기반으로 분자 특성을 예측할 수 있도록 지원하는 ‘ 머신러닝 ’ 제품입니다. 이 자동화된 지도 학습 파이프라인을 통해 초보자와 숙련된 사용자 모두 최고 수준의 정량적 구조-활성/특성 관계(QSAR/QSPR) 모델을 생성하고 적용할 수 있습니다.

이전 백서[1]의 연구 결과를 바탕으로 한 본 벤치마크의 목적은, 서로 다른 하드웨어 구성과 모델 훈련 시간을 사용하여 크기가 다른 두 데이터셋에서 DeepAutoQSAR의 성능을 분석하는 데 있습니다. 성능은 궁극적으로 데이터에 따라 달라지지만, 본 벤치마크의 주된 목적은 머신러닝 모델을 훈련할 하드웨어와 구체적인 모델 훈련 시간을 선택하는 데 있어 출발점을 제공하는 데 있습니다.

데이터 세트

벤치마크에 사용된 데이터셋은 Therapeutics Data Commons(TDC)에서 확보했습니다. TDC는 제약 연구 및 개발에 유용한 학습 과제에 활용할 수 있으며, 다양한 치료 분야와 치료제 개발 주기( 신약 개발 )의 각 단계를 아우르는 기계 학습(ML)용 데이터셋을 제공합니다 [2].

우리는 각각 하나의 흡수·분포·대사·배설(ADME) 특성에 대한 미국 식품의약국( 어세이 ) 데이터를 포함하는 두 개의 데이터 세트를 사용합니다:

1. Caco2 (인간 상피 세포 유효 투과도)
2. AqSolDB (수성 용매 데이터베이스, Aqueous 용해도)

성능은 훈련-테스트 데이터 분할 샘플에 대한 ADME 특성 예측의 중앙값 정확도로 측정됩니다. 단, 사용된 구체적인 훈련-테스트 데이터 분할은 TDC가 벤치마크 리더보드에 제공하는 분할과는 다르다는 점에 유의하십시오.

데이터셋 설명

Caco2 (인간 상피 세포 유효 투과도) [3]*

인간 결장 상피암 세포주인 Caco-2는 인간 장 조직을 모사하기 위한 체외 모델로 사용된다. Caco-2 세포를 통과하는 약물의 이동 속도에 대한 실험 결과는 약물이 인간 장 조직을 투과하는 속도를 대략적으로 추정할 수 있게 해준다.

이 데이터셋에는 회귀 분석에 사용할 수 있는 수치 데이터가 포함되어 있으며, 총 906개의 화합물이 있습니다.

AqSolDB (수성 용매 데이터베이스, Aqueous 용해도) [4]*

수용성( 용해도 )은 약물이 물에 녹는 정도를 나타내는 지표입니다. 수용성( 용해도 )이 낮으면 약물 흡수가 느려지고 생체이용률이 낮아질 뿐만 아니라 독성을 유발할 수도 있습니다. 신약 후보 물질의 40% 이상이 수용성이 없습니다.

이 데이터셋에는 회귀 분석에 사용할 수 있는 실수형(비정수형) 데이터가 포함되어 있으며, 총 9,845개의 화합물이 있습니다.

*참고: 데이터셋은 구조적 중복과 실험 오류를 제거하기 위해 원본 형태에서 수정되었습니다.

하드웨어

벤치마크에 사용된 하드웨어는 Google Cloud Platform(GCP)에서 프로비저닝되었으므로, 선택된 하드웨어 구성은 Google에서 제공하는 머신 유형을 기반으로 했습니다.

클라우드 제공업체가 정한 이러한 하드웨어 구성 제한으로 인해, 특정 CPU 플랫폼과만 함께 사용할 수 있는 특정 GPU 플랫폼과 같이, 오직 특정 하드웨어 조합만 사용할 수 있습니다. 예를 들어, NVIDIA A100 GPU는 Intel Cascade Lake CPU 플랫폼만을 사용하는 A2 머신 타입에서만 구동할 수 있습니다. 이러한 제약 조건 속에서, 모든 머신 타입에 걸쳐 하드웨어별 옵션을 일관되게 유지하고, 합리적인 범위 내에서 하드웨어 다양성을 제공하며, 비용 효율적인 고성능 컴퓨팅 하드웨어를 사용하기 위해 최선을 다했습니다.

벤치마킹 방법 및 결과

본 벤치마크는 2단계 과정으로 진행됩니다. 첫 번째 단계에서는 표준 교차 검증 절차를 사용하여 DeepAutoQSAR 모델을 TDC 데이터셋에 적합하도록 훈련시킴으로써, 모델 앙상블을 구성할 최고 성능의 머신러닝 모델을 선별하고 하이퍼파라미터를 최적화합니다. 이 단계의 최종 결과는 최고 성능의 모델들로 구성된 앙상블이며, 일반적인 사용 환경에서 이 모델들의 예측값을 평균화하여 평균 예측값과 이에 상응하는 앙상블 표준편차를 도출합니다. 구체적인 프로토콜은 당사의 백서인『Therapeutic Data Commons의 ADMET 하위 집합에 대한 DeepAutoQSAR, ChemProp 및 DeepPurprose 벤치마크 연구』[1]에상세히 기술되어 있습니다. 두 번째 단계에서는 데이터에 대한 무작위 훈련-테스트 분할을 계산하고, 앞서 결정된 최상위 ML 모델 아키텍처 앙상블을 특정 하이퍼파라미터 구성과 함께 새로운 훈련 데이터 분할에 대해 훈련시킵니다. 그런 다음 새로운 테스트 데이터 분할에 대한 예측값이 생성됩니다. 이러한 다중 분할 지표는 단일 훈련-테스트 데이터 분할에서 발생할 수 있는 잠재적 편향을 줄임으로써 모델 성능에 대한 보다 견고한 추정치를 제공합니다. 이 하드웨어 벤치마크에서 모델 성능은 각 하드웨어 구성 및 모델 훈련 시간에 대해 이러한 무작위 훈련-테스트 분할 전반에 걸친결정계수 R²의중앙값 [5]으로 보고됩니다.

첫 번째 단계에서는 할당된 각 훈련 시간 동안 초기 훈련 절차가 지속적으로 실행됩니다. 하이퍼파라미터 최적화와 모델 아키텍처 선택은 확률적 특성을 지니기 때문에, 벤치마크 작업이 실행될 때마다 각 하드웨어와 훈련 시간의 조합에 따라 탐색되는 모델 아키텍처 및 하이퍼파라미터 조합의 수가 달라질 수 있습니다. 평가된 모델 훈련 시간은 0.5, 1, 2, 4, 8, 16시간이었습니다. 일반적으로, 더 작은 데이터셋에서 더 긴 훈련 시간을 운영하는 성능이 더 뛰어난 하드웨어(예: 더 작은 Caco2 투과도 데이터셋에서 16시간 동안 훈련하는 A100 GPU 탑재 머신)는, 더 큰 데이터셋에서 더 짧은 훈련 시간을 운영하는 성능이 낮은 하드웨어(예: 더 큰 AqSolDB 데이터셋에서 2시간 동안 훈련하는 2코어 머신)보다 더 많은 하이퍼파라미터 조합을 탐색하게 됩니다.

모델 아키텍처 선택과 하이퍼파라미터 샘플링은 확률적 과정이므로, 특정 하드웨어와 훈련 시간의 조합으로 이루어진 각 벤치마크 구성을 세 번 실행하고 성능의 평균값을 보고합니다. 모델 성능이 하이퍼파라미터 샘플링에 더 민감하기 때문에, 탐색되는 하이퍼파라미터 조합의 수가 적을 때 이 방법이 특히 중요합니다. 첫 번째 단계의 결과물은 교차 검증에 의해 선정된 상위 모델들의 앙상블이며, 각 모델에는 구체적인 하이퍼파라미터 선택값이 지정됩니다.

벤치마크의 두 번째 단계는 첫 번째 단계의 훈련 시간의 절반 동안 실행됩니다. 훈련 시간을 늘리면 성능의 중앙값이 분할 방식에 독립적인 값으로 수렴함에 따라 통계적 견고성이 높아지지만, 그 대가로 계산 비용이 증가합니다. 실제로는 계산 비용과 앙상블 모델을 충분히 긴 훈련 시간 동안 훈련해야 하는 필요성 사이에서 균형을 맞춰야 합니다. 성능 보고를 위해, 단일 훈련-테스트 분할로 인해 발생할 수 있는 잠재적 편향을 줄이기 위해, 여러 번의 훈련-테스트 분할을 통해 계산된결정계수 R²의중앙값[5]을 제공합니다. 이^R²를 계산하기 위해, 대체를 허용하는 부트스트랩 표본 추출을 통해 데이터를 반복적으로 훈련 세트와 테스트 세트로 분할합니다. 이를 위해, 총 N개의 데이터 포인트로 구성된 데이터셋에서 대체를 허용하며 N개의 표본을 추출하고, 중복 항목을 제거하여 부분 집합을 형성합니다. 그런 다음 선택된 데이터 포인트는 1단계에서 도출된 특정 모델 아키텍처를 훈련하는 데 사용되며, 선택되지 않은 데이터 포인트는 테스트 홀드아웃으로 활용됩니다. 이 과정을 시간 제한에 도달할 때까지 반복한 후, 모든 재표본 추출 결과의^R²중앙값을 보고합니다.

두 TDC 데이터셋 모두 수치 회귀 문제이므로, 이 지표는 모델 성능을 평가하는 데 합리적인 척도가 됩니다. 그러나 실제 응용 분야에서 성능 지표를 선택할 때는 항상 앙상블 모델의 사용 사례에 따라 결정해야 합니다. 때로는 모델의 성능이 충분한지 평가하는 데 MAE나 RMSE가 더 적합할 수도 있습니다. 두 번째 단계의 결과는 서로 다른 훈련-테스트 분할에 따른 앙상블 모델 성능의 분포이며, 보고된 값은 이 분포의 중앙값입니다.

아래에는 2단계에서 산출된 결정계수^R²의중앙값인 벤치마크 결과를 그래프로 나타냈습니다. 첫 번째 그래프는 AqSolDB 데이터셋에 대한 성능을, 두 번째 그래프는 Caco2 투과도 데이터셋에 대한 성능을 보여줍니다. 각 데이터셋에 대해, 하드웨어 유형별로 그룹화하여 시간 경과에 따른 성능의 변화를 강조하여 나타냈습니다. 여기서 x축은 하드웨어 유형, 막대 색상은 시간(시간 단위)의 훈련 시간, y축은^R²점수의 중앙값을 나타냅니다. 그래프 생성에 사용된 데이터는 보충 표에 제공되어 있습니다.

이러한 결과와 하드웨어 비용을 고려하여, 당사의 일반적인 권장 사항은 다음과 같습니다: