<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">rfhealth</journal-id><journal-title-group><journal-title xml:lang="ru">Здравоохранение Российской Федерации</journal-title><trans-title-group xml:lang="en"><trans-title>Health care of the Russian Federation</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">0044-197X</issn><issn pub-type="epub">2412-0723</issn><publisher><publisher-name>Federal Scientific Center of Hygiene named after F.F. Erisman</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.46563/0044-197X-2020-64-6-343-350</article-id><article-id custom-type="elpub" pub-id-type="custom">rfhealth-236</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ПРОБЛЕМЫ СОЦИАЛЬНО ЗНАЧИМЫХ ЗАБОЛЕВАНИЙ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>PROBLEMS OF SOCIALLY SIGNIFICANT DISEASES</subject></subj-group></article-categories><title-group><article-title>Методология и инструментарий создания обучающих выборок для систем искусственного интеллекта по распознаванию рака легкого на КТ-изображениях</article-title><trans-title-group xml:lang="en"><trans-title>Methodology and tools for creating training samples for artificial intelligence systems for recognizing lung cancer on CT images</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-7046-7157</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Кульберг</surname><given-names>Николай Сергеевич</given-names></name><name name-style="western" xml:lang="en"><surname>Kulberg</surname><given-names>Nikolay S.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Канд. физ.-мат. наук, руководитель отдела ГБУЗ «Научнопрактический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», 109029, Москва.</p><p>e-mail: kulberg@npcmr.ru</p></bio><bio xml:lang="en"><p>MD, Ph.D., head of the Department, Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies, Moscow, 109029, Russia.</p><p>e-mail: kulberg@npcmr.ru </p></bio><email xlink:type="simple">kulberg@npcmr.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-8864-8722</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гусев</surname><given-names>М. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Gusev</surname><given-names>Maxim A.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-9661-0254</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Решетников</surname><given-names>Р. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Reshetnikov</surname><given-names>Roman V.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-3"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-3786-4171</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Елизаров</surname><given-names>А. Б.</given-names></name><name name-style="western" xml:lang="en"><surname>Elizarov</surname><given-names>Alexey B.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-4"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-6752-1375</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Новик</surname><given-names>В. П.</given-names></name><name name-style="western" xml:lang="en"><surname>Novik</surname><given-names>Vladimir P.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-4"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-0970-3645</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Прокудайло</surname><given-names>С. Б.</given-names></name><name name-style="western" xml:lang="en"><surname>Prokudaylo</surname><given-names>Sergey B.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-4"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-9419-2282</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Филиппович</surname><given-names>Ю. Н.</given-names></name><name name-style="western" xml:lang="en"><surname>Philippovich</surname><given-names>Yuriy N.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-5"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-1816-1315</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гомболевский</surname><given-names>В. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Gobmolevsky</surname><given-names>Victor A.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-4"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-2990-7736</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Владзимирский</surname><given-names>А. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Vladzymyrskyy</surname><given-names>Anton V.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-4"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-0925-5822</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Камынина</surname><given-names>Н. Н.</given-names></name><name name-style="western" xml:lang="en"><surname>Kamynina</surname><given-names>Natalya N.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-6"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-6545-6170</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Морозов</surname><given-names>С. П.</given-names></name><name name-style="western" xml:lang="en"><surname>Morozov</surname><given-names>Sergey P.</given-names></name></name-alternatives><email xlink:type="simple">noemail@neicon.ru</email><xref ref-type="aff" rid="aff-4"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru">ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»; Федеральный исследовательский центр «Информатика и управление» Российской академии наук<country>Россия</country></aff><aff xml:lang="en">Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; Federal Research Center «Computer Science and Control» of Russian Academy of Sciences<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru">ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»; ФГБОУ ВО «Московский политехнический университет»<country>Россия</country></aff><aff xml:lang="en">Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; Moscow Polytechnic Uniersity<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-3"><aff xml:lang="ru">ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»; Институт молекулярной медицины, ФГАОУ ВО «Первый Московский государственный медицинский университет им И.М. Сеченова» (Сеченовский университет), Минздрава России<country>Россия</country></aff><aff xml:lang="en">Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department; Institute of Molecular Medicine, Sechenov First Moscow State Medical University<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-4"><aff xml:lang="ru">ГБУЗ города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы»<country>Россия</country></aff><aff xml:lang="en">Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-5"><aff xml:lang="ru">ФГБОУ ВО «Московский политехнический университет»<country>Россия</country></aff><aff xml:lang="en">Moscow Polytechnic Uniersity<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-6"><aff xml:lang="ru">ГБУ «Научно-исследовательский институт организации здравоохранения и медицинского менеджмента Департамента здравоохранения города Москвы»<country>Россия</country></aff><aff xml:lang="en">Research Institute for Healthcare Organization and Medical Management of Moscow Healthcare Department<country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2020</year></pub-date><pub-date pub-type="epub"><day>01</day><month>01</month><year>2021</year></pub-date><volume>64</volume><issue>6</issue><fpage>343</fpage><lpage>350</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Кульберг Н.С., Гусев М.А., Решетников Р.В., Елизаров А.Б., Новик В.П., Прокудайло С.Б., Филиппович Ю.Н., Гомболевский В.А., Владзимирский А.В., Камынина Н.Н., Морозов С.П., 2021</copyright-statement><copyright-year>2021</copyright-year><copyright-holder xml:lang="ru">Кульберг Н.С., Гусев М.А., Решетников Р.В., Елизаров А.Б., Новик В.П., Прокудайло С.Б., Филиппович Ю.Н., Гомболевский В.А., Владзимирский А.В., Камынина Н.Н., Морозов С.П.</copyright-holder><copyright-holder xml:lang="en">Kulberg N.S., Gusev M.A., Reshetnikov R.V., Elizarov A.B., Novik V.P., Prokudaylo S.B., Philippovich Y.N., Gobmolevsky V.A., Vladzymyrskyy A.V., Kamynina N.N., Morozov S.P.</copyright-holder><license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.rfhealth.ru/jour/article/view/236">https://www.rfhealth.ru/jour/article/view/236</self-uri><abstract><sec><title>Введение</title><p>Введение. Методы медицинской визуализации позволяют диагностировать многие заболевания на ранних стадиях развития, способствуя повышению выживаемости пациентов. Актуальным и перспективным средством повышения качества диагностики являются системы искусственного интеллекта (ИИ), для обучения которых необходимы высококачественные аннотированные и размеченные наборы медицинских изображений.</p><p>Целью исследования является повышение качества диагностики рака легкого с помощью использования систем ИИ.</p></sec><sec><title>Материал и методы</title><p> Материал и методы. Разработана методология и программное обеспечение, позволяющие в короткое время сформировать обучающие выборки для создания систем ИИ по распознаванию рака легкого. Для обоснования методологии сравнивали точность и быстродействие основных подходов к созданию обучающих выборок на компьютерных моделях опухолевых образований. Для разметки объектов интереса использовали ранее разработанную авторами кластерную модель обозначения локализации. При разработке программного обеспечения использовали языки C++ и Kotlin.</p></sec><sec><title>Результаты</title><p> Результаты. Разработан шаблон структурированной аннотации со словарём терминов, ставший основой для создания информационной системы. Последняя состоит из трёх взаимодействующих между собой модулей, два из которых выполняются на мощностях удалённого сервера и один - на персональном компьютере или мобильном устройстве конечного пользователя. Фундаментом информационной системы является серверная часть, отвечающая, отвечающий за логику работы с исследованиями. За взаимодействие с клиентскими приложениями отвечает веб-сервер, роль которого заключается в идентификации пользователей, работе с базой данных, управлении подключением к системе передачи и архивации изображений и выгрузке отчетов. В качестве клиентской части выступает веб-приложение с графическим интерфейсом, позволяющим оптимизировать разметку и аннотацию изображений.</p></sec><sec><title>Заключение</title><p>Заключение. Созданы алгоритмическая основа и программный комплекс, позволяющие проводить разметку компьютерных томограмм с целью создания обучающих выборок для разработки систем ИИ. Разработанную информационную систему использовали для разметки и аннотации КТ-исследований в рамках проекта «Московский скрининг рака лёгкого».</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>Introduction</title><p>Introduction. Medical imaging techniques can diagnose many diseases at the early stages of their development, improving the patient survival. Artificial intelligence (AI) systems, requiring the high-quality annotated and marked-up sets of medical images, are a suitable and promising means of improving the diagnostics’ quality.</p><p>The purpose of the study was to develop a methodology and software for creating AIS training sets.</p></sec><sec><title>Material and methods</title><p>Material and methods. We compared the main annotation methods’ performance and accuracy and based the information system on the most efficient method in both domains to develop an optimal approach. To markup objects of interest, we used the cluster model of lesions localization previously developed by the authors. We used C++ and Kotlin programming languages for software development.</p></sec><sec><title>Results</title><p> Results. A structured annotation template with delivered a glossary of terms became the basis of the information system. The latter consists of three interacting modules, two of which are executed on a remote server’s capacities and one on a personal computer or mobile device of the end-user. The first module is a web service responsible for the workflow logic. The second module, a web server, is responsible for interacting with client applications. Its role is to identify users and manage the database and Picture Archiving and Communication System (PACS) connections. The front-end module is a web application with a graphical interface that assists the end-user in images’ markup and annotation.</p></sec><sec><title>Conclusions</title><p>Conclusions. An algorithmic basis and a software package have been created for annotation and markup of CT images. The resulting information system was used in a large-scale lung cancer screening project for the creation of medical imaging datasets.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>системы искусственного интеллекта</kwd><kwd>обучающая выборка</kwd><kwd>компьютерная томография</kwd><kwd>компьютерная диагностика</kwd><kwd>медицинские интеллектуальные технологии</kwd><kwd>медицинская визуализация</kwd></kwd-group><kwd-group xml:lang="en"><kwd>artificial intelligence systems</kwd><kwd>training sample</kwd><kwd>computed tomography</kwd><kwd>computer diagnostics</kwd><kwd>medical artificial intelligence</kwd><kwd>medical imaging</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Riquelme D., Akhloufi M.A. Deep learning for lung cancer nodules detection and classification in CT scans. AI. 2020; 1(1): 28-67. https://doi.org/10.3390/ai1010003</mixed-citation><mixed-citation xml:lang="en">Riquelme D., Akhloufi M.A. Deep learning for lung cancer nodules detection and classification in CT scans. AI. 2020; 1(1): 28–67. https://doi.org/10.3390/ai1010003</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Bell D.J., Morgan M.A. Lung-RADS. National Cancer Institute (NCI). Available at: https://radiopaedia.org/articles/lung-rads</mixed-citation><mixed-citation xml:lang="en">Bell D.J., Morgan M.A. Lung-RADS. National Cancer Institute (NCI). Available at: https://radiopaedia.org/articles/lung-rads</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Морозов С.П., Кульберг Н.С., Гомболевский В.А., Ледихова Н.А., Соколина И.А., Владзимирский А.В. и др. Тегированные результаты компьютерных томографий легких, база данных. Патент RU № 2018620500; 2018.</mixed-citation><mixed-citation xml:lang="en">Morozov S.P., Kul’berg N.S., Gombolevskiy V.A., Ledikhova N.A., Sokolina I.A., Vladzimirskiy A.V., et al. Tagged Chest Computed Tomography (CT) Images. Patent RU № 2018620500; 2018. (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Морозов С.П., Кульберг Н.С., Гомболевский В.А., Ледихова Н.А., Соколина И.А., Владзимирский А.В. и др. Обучающий набор компьютерных томограмм легких. Патент RU № 2018620427; 2018.</mixed-citation><mixed-citation xml:lang="en">Morozov S.P., Kul’berg N.S., Gombolevskiy V.A., Ledikhova N.A., Sokolina I.A., Vladzimirskiy A.V., et al. Chest Computer Tomography (CT) set for Machine Learning. Patent RU № 2018620427; 2018. (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Li Z., Wang C., Han M., Xue Y., Wei W., Li L.J., et al. Thoracic Disease Identification and Localization with Limited Supervision. Available at: https://arxiv.org/abs/1711.06373</mixed-citation><mixed-citation xml:lang="en">Li Z., Wang C., Han M., Xue Y., Wei W., Li L.J., et al. Thoracic Disease Identification and Localization with Limited Supervision. Available at: https://arxiv.org/abs/1711.06373</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Armato S.G., McLennan G., Bidaut L., McNitt-Gray M.F., Meyer C.R., Reeves A.P., et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans. Med. Phys. 2011; 38(2): 915-31. https://doi.org/10.1118/1.3528204</mixed-citation><mixed-citation xml:lang="en">Armato S.G., McLennan G., Bidaut L., McNitt-Gray M.F., Meyer C.R., Reeves A.P., et al. The Lung Image Database Consortium (LIDC) and Image Database Resource Initiative (IDRI): A completed reference database of lung nodules on CT scans. Med. Phys. 2011; 38(2): 915–31. https://doi.org/10.1118/1.3528204</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Kan S.H. Metrics and Models in Software Quality Engineering. Boston: Addison-Wesley Professional; 2003.</mixed-citation><mixed-citation xml:lang="en">Kan S.H. Metrics and Models in Software Quality Engineering. Boston: Addison-Wesley Professional; 2003.</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Ковалев В.А., Левчук В.А., Калиновский А.А., Фридман М.В. Сегментация опухолей на полнослайдовых гистологических изображениях с использованием технологии глубокого обучения. Информатика. 2019; 16(2): 18-26.</mixed-citation><mixed-citation xml:lang="en">Kovalev V.A., Levchuk V.A., Kalinovskiy A.A., Fridman M.V. Tumor segmentation in whole-slide histology images using deep learning. Informatika. 2019; 16(2): 18–26. (in Russian)</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Xu R., Zhou X., Hirano Y., Tachibana R., Hara T., Kido S., et al. Particle system based adaptive sampling on spherical parameter space to improve the MDL method for construction of statistical shape models. Comput. Math. Methods Med. 2013; 2013: 196259. https://doi.org/10.1155/2013/196259</mixed-citation><mixed-citation xml:lang="en">Xu R., Zhou X., Hirano Y., Tachibana R., Hara T., Kido S., et al. Particle system based adaptive sampling on spherical parameter space to improve the MDL method for construction of statistical shape models. Comput. Math. Methods Med. 2013; 2013: 196259. https://doi.org/10.1155/2013/196259</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Armato S.G., Meyer C.R., Mcnitt-Gray M.F., McLennan G., Reeves A.P., Croft B.Y., et al. The Reference Image Database to Evaluate Response to therapy in lung cancer (RIDER) project: A resource for the development of change analysis software. Clin. Pharmacol. Ther. 2008; 84(4): 448-56. https://doi.org/10.1038/clpt.2008.161</mixed-citation><mixed-citation xml:lang="en">Armato S.G., Meyer C.R., Mcnitt-Gray M.F., McLennan G., Reeves A.P., Croft B.Y., et al. The Reference Image Database to Evaluate Response to therapy in lung cancer (RIDER) project: A resource for the development of change analysis software. Clin. Pharmacol. Ther. 2008; 84(4): 448–56. https://doi.org/10.1038/clpt.2008.161</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Bakr S., Gevaert O., Echegaray S., Ayers K., Zhou M., Shafiq M., et al. A radiogenomic dataset of non-small cell lung cancer. Sci. Data. 2018; 5: 180202. https://doi.org/10.1038/sdata.2018.202</mixed-citation><mixed-citation xml:lang="en">Bakr S., Gevaert O., Echegaray S., Ayers K., Zhou M., Shafiq M., et al. A radiogenomic dataset of non-small cell lung cancer. Sci. Data. 2018; 5: 180202. https://doi.org/10.1038/sdata.2018.202</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
