Update core/multilingual_manager.py

core/multilingual_manager.py

@@ -1,148 +1,4 @@
-# import re
-# from typing import Dict, Tuple, Optional
-# from sentence_transformers import SentenceTransformer
-# from config.settings import settings
 
-# class MultilingualManager:
-#     def __init__(self):
-#         self.vietnamese_model = None
-#         self.multilingual_model = None
-#         self.current_language = 'vi' 
-
-#         # Phát hiện thuộc ngôn ngữ dựa trên các mẫu ký tự và từ phổ biến
-#         self.language_patterns = {
-#             'vi': {
-#                 'chars': set('àáâãèéêìíòóôõùúýăđĩũơưạảấầẩẫậắằẳẵặẹẻẽếềểễệỉịọỏốồổỗộớờởỡợụủứừửữựỳỵỷỹ'),
-#                 'common_words': ['của', 'và', 'là', 'có', 'được', 'trong', 'cho', 'với', 'như', 'tôi']
-#             },
-#             'en': {
-#                 'chars': set('abcdefghijklmnopqrstuvwxyz'),
-#                 'common_words': ['the', 'and', 'is', 'are', 'for', 'with', 'this', 'that', 'you', 'they']
-#             },
-#             'fr': {
-#                 'chars': set('àâæçèéêëîïôœùûüÿ'),
-#                 'common_words': ['le', 'la', 'et', 'est', 'dans', 'pour', 'avec', 'vous', 'nous', 'ils']
-#             },
-#             'es': {
-#                 'chars': set('áéíóúñü'),
-#                 'common_words': ['el', 'la', 'y', 'es', 'en', 'por', 'con', 'los', 'las', 'del']
-#             },
-#             'de': {
-#                 'chars': set('äöüß'),
-#                 'common_words': ['der', 'die', 'das', 'und', 'ist', 'in', 'für', 'mit', 'sich', 'nicht']
-#             },
-#             'ja': {
-#                 'chars': set('ぁ-んァ-ン一-龯'),
-#                 'common_words': ['の', 'に', 'は', 'を', 'た', 'で', 'し', 'が', 'ます', 'です']
-#             },
-#             'ko': {
-#                 'chars': set('가-힣'),
-#                 'common_words': ['이', '그', '에', '를', '의', '에', '에서', '으로', '하다', '이다']
-#             },
-#             'zh': {
-#                 'chars': set('一-鿌'),
-#                 'common_words': ['的', '是', '在', '有', '和', '了', '人', '我', '他', '这']
-#             }
-#         }
-#         self._initialize_models()
-#     def _initialize_models(self):
-#         """Khởi tạo các mô hình đa ngôn ngữ"""
-#         try:
-#             print("🔄 Đang tải mô hình embedding tiếng Việt...")
-#             self.vietnamese_model = SentenceTransformer(settings.VIETNAMESE_EMBEDDING_MODEL)
-#             print("✅ Đã tải mô hình embedding tiếng Việt")
-#         except Exception as e:
-#             print(f"❌ Lỗi tải mô hình embedding tiếng Việt: {e}")
-#             self.vietnamese_model = None
-        
-#         try:
-#             print("🔄 Đang tải mô hình embedding đa ngôn ngữ...")
-#             self.multilingual_model = SentenceTransformer(settings.MULTILINGUAL_EMBEDDING_MODEL,trust_remote_code=True )
-#             print("✅ Đã tải mô hình embedding đa ngôn ngữ")
-#         except Exception as e:
-#             print(f"❌ Lỗi tải mô hình embedding đa ngôn ngữ: {e}")
-#             self.multilingual_model = None
-    
-#     def detect_language(self, text: str) -> str:
-#         """Phát hiện ngôn ngữ với độ chính xác cao"""
-#         if not text or len(text.strip()) == 0:
-#             return 'vi'  # Default to Vietnamese
-        
-#         text_lower = text.lower()
-#         scores = {}
-        
-#         for lang, patterns in self.language_patterns.items():
-#             score = 0
-            
-#             # Score based on special characters
-#             char_score = sum(1 for char in text if char in patterns['chars'])
-#             score += char_score * 2
-            
-#             # Score based on common words
-#             word_score = sum(1 for word in patterns['common_words'] if word in text_lower)
-#             score += word_score
-            
-#             scores[lang] = score
-        
-#         # Return language with highest score
-#         detected_lang = max(scores.items(), key=lambda x: x[1])[0]
-        
-#         # If no strong detection, use character-based fallback
-#         if max(scores.values()) < 3:
-#             vietnamese_chars = set('àáâãèéêìíòóôõùúýăđĩũơưạảấầẩẫậắằẳẵặẹẻẽếềểễệỉịọỏốồổỗộớờởỡợụủứừửữựỳỵỷỹ')
-#             if any(char in vietnamese_chars for char in text):
-#                 return 'vi'
-#             elif any(char in text for char in 'あいうえおぁ-んァ-ン'):
-#                 return 'ja'
-#             elif any(char in text for char in '你好'):
-#                 return 'zh'
-#             elif any(char in text for char in '안녕'):
-#                 return 'ko'
-#             else:
-#                 return 'en'  # Default to English for other cases
-        
-#         return detected_lang
-#     def get_embedding_model(self, language: str = None) -> Optional[SentenceTransformer]:
-#         """Lấy mô hình embedding dựa trên ngôn ngữ đã phát hiện"""
-#         lang = language if language in settings.SUPPORTED_LANGUAGES else self.current_language
-        
-#         if lang == 'vi':
-#             return self.vietnamese_model
-#         else:
-#             return self.multilingual_model
-    
-#     def get_llm_model(self, language: str = None) -> str:
-#         """Lấy tên mô hình LLM dựa trên ngôn ngữ đã phát hiện"""
-#         lang = language if language in settings.SUPPORTED_LANGUAGES else self.current_language
-        
-#         if lang == 'vi':
-#             return settings.VIETNAMESE_LLM_MODEL
-#         else:
-#             return settings.MULTILINGUAL_LLM_MODEL
-    
-#     def get_language_info(self, language: str = None) -> Dict:
-#         """Lấy thông tin ngôn ngữ bao gồm mã và tên đầy đủ"""
-#         lang = language if language in settings.SUPPORTED_LANGUAGES else self.current_language
-        
-#         model_info = {
-#             'vi': {
-#                 'name': 'Tiếng Việt',
-#                 'embedding_model': settings.VIETNAMESE_EMBEDDING_MODEL,
-#                 'llm_model': settings.VIETNAMESE_LLM_MODEL,
-#                 'status': 'active' if self.vietnamese_model else 'inactive'
-#             },
-#             'other': {
-#                 'name': 'Multilingual',
-#                 'embedding_model': settings.MULTILINGUAL_EMBEDDING_MODEL,
-#                 'llm_model': settings.MULTILINGUAL_LLM_MODEL,
-#                 'status': 'active' if self.multilingual_model else 'inactive'
-#             }
-#         }
-        
-#         if lang == 'vi':
-#             return model_info['vi']
-#         else:
-#             return model_info['other']
 import re
 from typing import Dict, Tuple, Optional
 from sentence_transformers import SentenceTransformer