Update README.md

README.md

@@ -1,13 +1,30 @@
----
-title: Article Sphere Classification
-emoji: 🐠
-colorFrom: indigo
-colorTo: blue
-sdk: streamlit
-sdk_version: 1.44.1
-app_file: app.py
-pinned: false
-short_description: Define article sphere by it's name and abstract
----
-
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# Article Theme Classifier
+
+## Описание
+
+Данный проект представляет собой модель для классификации тем статей, исходя из их названия и аннотации (abstract). Одно из этих полей обязательно для работы программы. Модель позволяет выбрать кумулятивный threshold для предсказания наиболее вероятных тем.
+
+## Архитектура модели
+
+В качестве основы для классификации была использована модель `distilbert-base-cased`. На эту модель был добавлен классификатор, состоящий из двух линейных слоев:
+
+1. Линейный слой (с размером выходного пространства 256), за которым следует активация ReLU.
+2. Линейный слой (с выходом на 8 классов), с активацией LogSoftmax.
+
+## Используемая loss функция
+
+Для обучения модели была использована loss функция `nn.KLDivLoss`, которая применима для задач, где модель генерирует вероятностные распределения.
+
+## Датасет
+
+Модель обучалась на предложенном Kaggle датасете "neelshah18/arxivdataset".
+
+## Проблемы и ограничение модели
+
+Несмотря на использование сильной основы, результаты модели оказались не очень хорошими. Возможные причины:
+
+1. **Выбор модели**: Использованная модель `distilbert-base-cased` является сравнительно небольшой и может не иметь достаточной мощности для более сложных задач классификации.
+2. **Размер входных данных**: Для модели был установлен небольшой `MAX_LENGTH`, что ограничивает количество информации, которую модель может обработать.
+3. **Выбор loss функции**: `KLDivLoss` не всегда является оптимальным выбором для классификационных задач. Возможно, использование другой loss функции, например, `CrossEntropyLoss`, улучшило бы результаты.
+
+