Застосування методу низькорангової адаптації на прикладі донавчання моделі прихованої дифузії

Заголовок (англійською): 
Application of the low-rank adaptation method on the example of fine-tuning a latent diffusion model
Автор(и): 
Іванченко Г.М.
Гетун Г.В.
Скляров І.О.
Соломін А.В.
Гетун С.Ю.
Автор(и) (англ): 
Ivanchenko H.M.
Getun G.V.
Skliarov I.O.
Solomin A.V.
Getun S.Y.
Ключові слова (укр): 
метод низькорангової адаптації, тренування нейромереж, моделі прихованої дифузії, генеративні моделі, нейромережі, оптимізатор AdamW, генерація зображень, архітектурні стилі, машинне навчання, датасет, валідаційний датасет
Ключові слова (англ): 
Low-Rank Adaptation, Fine-tuning, Latent Diffusion Models, Generative Models, Neural Networks, AdamW Optimizer, Image Generation, Architecture styles, Machine Learning, Training Data, Validation Data
Анотація (укр): 
Cтаття досліджує метод низькорангової адаптації (LoRA), швидку методику тонкого налаштування нейронних мереж з великою кількістю параметрів, та її потенційне застосування в різних галузях, з акцентом на архітектуру, будівництво та будівельну механіку. Дослідження застосовує LoRA для тонкого налаштування моделі прихованої дифузії (LDM) для генерації зображень будівель у різних архітектурних стилях, слугуючи ілюстративним прикладом ефективності LoRA для адаптації великих моделей до спеціалізованих завдань. Нейронні мережі з великою кількістю параметрів, такі як моделі прихованої дифузії (LDM) та великі мовні моделі (LLM), продемонстрували значний потенціал у різних галузях, але їх навчання з нуля є обчислювально дорогим та трудомістким. Тонке налаштування пропонує більш ефективний підхід шляхом адаптації попередньо навчених моделей до конкретних завдань та даних. LoRA ще більше підвищує ефективність, додаючи невелику кількість параметрів до моделі, а не налаштовуючи всі ваги. LoRA використовує низькорангові матричні представлення для зменшення кількості параметрів, що навчаються, під час тонкого налаштування. Вводячи менші матриці для кожного шару та навчаючи їх на нових даних, LoRA значно прискорює процес тонкого налаштування та зменшує обчислювальні витрати. Дослідження демонструє застосування LoRA для тонкого налаштування LDM StableDiffusion 1.5 для генерації зображень будівель у різних архітектурних стилях за допомогою інструменту OneTrainer. Результати показують, що тонке налаштування StableDiffusion 1.5 за допомогою LoRA ефективно генерує високоякісні зображення будівель у заданих архітектурних стилях, підкреслюючи потенціал LoRA для адаптації великих моделей до спеціалізованих завдань. Наголошується на використанні набору даних для валідації для запобігання перенавчанню та визначення оптимальної точки зупинки навчання, забезпечуючи узагальненість моделі. Це дослідження робить внесок у ширше дослідження застосовності LoRA для тонкого налаштування великих нейронних мереж у різних областях. Хоча дослідження зосереджено на LDM для архітектурних застосувань, основні принципи та продемонстрована ефективність LoRA поширюються на інші типи великих моделей, такі як LLM, для вирішення спеціалізованих завдань у різних галузях.
Анотація (англ): 
This article explores the Low-Rank Adaptation (LoRA) method, a fast fine-tuning technique for large-parameter neural networks, and its potential application in various fields, with a focus on architecture, construction, and structural mechanics. The study applies LoRA to fine-tune a Latent Diffusion Model (LDM) for generating images of buildings in various architectural styles, serving as an illustrative example of LoRA’s effectiveness for adapting large models to specialized tasks. Large-scale neural networks, such as Latent Diffusion Models (LDMs) and Large Language Models (LLMs), have shown significant potential in various fields, but their training from scratch is computationally expensive and time-consuming. Fine-tuning offers a more efficient approach by adapting pre-trained models to specific tasks and data. LoRA further enhances efficiency by adding a small number of parameters to the model instead of adjusting all weights. LoRA uses low-rank matrix representations to reduce the number of trainable parameters during fine-tuning. By introducing smaller matrices for each layer and training them on new data, LoRA significantly speeds up the fine-tuning process and reduces computational costs. The study demonstrates the application of LoRA for fine-tuning the LDM Stable Diffusion 1.5 to generate images of buildings in various architectural styles using the OneTrainer tool. The results show that fine-tuning Stable Diffusion 1.5 using LoRA effectively generates high-quality images of buildings in specified architectural styles, highlighting LoRA’s potential for adapting large models to specialized tasks. The use of a validation dataset is emphasized for preventing overfitting and determining the optimal stopping point for training, ensuring the model's generalizability. This research contributes to the broader exploration of LoRA’s applicability for fine-tuning large neural networks in various domains. While the study focuses on LDMs for architectural applications, the underlying principles and demonstrated effectiveness of LoRA extend to other types of large models, such as LLMs, for addressing specialized tasks in different fields.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Опір матеріалів і теорія споруд, 2025, номер 114
Назва журналу, номер, рік випуску (англ): 
Strength of Materials and Theory of Structures, 2025, number 114
Мова статті: 
English
Формат документа: 
application/pdf
Дата публікації: 
29 June 2025
Номер збірника: