Safe, Suspicious, or Phishing? Classifying SMS with LLMs

จำนวนผู้เข้าชม 9
ชื่อบทความ (TH)
Safe, Suspicious, or Phishing? Classifying SMS with LLMs

ชื่อบทความ (EN)
Safe, Suspicious, or Phishing? Classifying SMS with LLMs

ชื่อวารสาร
IEEE Explore

คุณภาพ
ผลงานตีพิมพ์วิชาการระดับนานาชาติ (อยู่ในฐานข้อมูลที่เป็นที่ยอมรับในระดับนานาชาติ เช่น Scopus, ISI)

ผู้ประพันธ์

ผู้ร่วมประพันธ์ (ภายนอก)
Phongphun Laowaphong, Suchakree Panyawong, Pattara Tipaksorn, Professor.Minoru Okada

ปีงบประมาณ
2568

คำสำคัญ (Keyword)
SMS phishing , classification , transformer model , explainable AI , natural language processing , mobile security

บทคัดย่อ

The extensive adoption of SMS for communication has resulted in an increase in phishing and misleading messages that jeopardize user security. This study introduces a classification system to sort SMS messages into three risk categories: safe, potentially harmful, and clearly harmful. The dataset, made up of 10,000 user-submitted SMS messages gathered through an online form, was labeled and analyzed manually. A refined transformer model (LLaMA 3.2) was used for multi-class classification. Performance evaluation included precision, recall, F1-score, and ROC-AUC, resulting in an overall accuracy of 81 %. Tools like word clouds and confusion matrices were utilized for result interpretation. The results show that transformer models can accurately identify SMS risk categories. The model demonstrates potential, but it has limitations, such as missing contextual and behavioral metadata. Future work will incorporate explainable AI (XAI) methods to improve clarity and foster user confidence.


เขตพื้นที่
เชียงใหม่

คณะ
คณะวิศวกรรมศาสตร์

สาขา
ครุศาสตร์อุตสาหกรรม

สาขาวิชา
ค.อ.บ.วิศวกรรมคอมพิวเตอร์

รายการที่เกี่ยวข้อง