Пять лекций, 183 вопроса. Один тренажёр.

Вызов исследовательского проекта

Делая свой проект, вы переходите от роли knowledge consumer к роли knowledge producer: тот, кто фиксирует и сообщает «truth». Это новая ответственность и набор новых навыков: «doing» research, а не просто знание о нём.

Весь процесс, которым нужно управлять самому:

1. Topicвыбрать тему
2. Questionresearchable question
3. Ethicsпройти этику
4. Literatureработа с литературой
5. Methodologyподход и design methods
6. Proposalсвязный план
7. Dataреспонденты, сбор, анализ
8. Write upнаписать отчёт

Что такое research и зачем он нужен

Бытовой «research» (выбор машины или университета) не то же самое, что систематическое исследование. Исследования редко делают ради чистого любопытства: «knowledge for knowledge's sake» считается роскошью. Цель — знания, которые помогают решать проблемы, то есть situation improvement. Кроме требования программы, мотивом должна быть возможность что-то улучшить: экология, здравоохранение, образование, дискриминация и т.д.

Potential of research — исследование помогает:

1. understand проблему со всеми сложностями и последствиями;
2. find workable solutions — видеть варианты будущего, исследовать возможности;
3. work towards that solution — внедрять реальные изменения;
4. evaluate success — проверить, сработали ли стратегии изменений;
5. offer robust recommendations — влиять на practice, programmes и policy.

Construct of research: ontology и epistemology

Ontologyонтология

Учение о том, что существует, и как существующее понимается и классифицируется. Личная онтология — что мы считаем «реальным» (душа, Бог, любовь, мораль).

Epistemologyэпистемология

Как мы получаем легитимное знание о мире; «rules for knowing». Личная эпистемология — как мы пришли к пониманию мира (как поверил в Бога, как понял любовь, как усвоил мораль).

Пример из лекции: empiricists считают, что знание ограничено тем, что наблюдается органами чувств (это их epistemology), поэтому им трудно признать существование того, что нельзя измерить (их ontology). Религиозная эпистемология (вера) признаёт Бога реальным; indigenous ways of knowing принимают мифы и легенды как истину; postmodernists сомневаются, что «truth» вообще можно найти, и считают истину политической.

Competing positions («измы»)

Зачем нужны все эти «isms» и «ologies»? Мы видим мир по-разному. В быту позицию можно не объявлять, но исследователь производит знание и делает выводы, поэтому должен «put your cards on the table»: знать свою позицию по отношению к знанию и уметь её сформулировать.

Quantitative, Qualitative и Mixed

Methodology, Methods, Tools

Summary: positivism и post-positivism

Research — процесс получения нового знания через сбор данных, отвечающих на конкретный вопрос. Это вклад в body of knowledge и инструмент informed decision-making: что нужно делать, что можно делать, как и насколько хорошо мы сделали.

Вместо жёсткой привязки к одной парадигме reflexive researcher рассматривает допущения разных парадигм применительно к конкретному вопросу.

Четыре результата недели

1. Research questionсфокусированный, отвечаемый через evidence, реалистичный на семестр
2. Research objectiveточное действие: что исследование изучит или оценит
3. Three search stringsbroad, balanced, precise
4. Search Log rowdatabase, query, filters, results, date, decision

Какой вопрос может вести исследование?

Из вариантов «How can AI improve education?», «Is machine learning useful?», «Can I build a better chatbot?» и «How does retrieval augmentation affect factual accuracy in a campus-service chatbot?» лучший — последний: в нём есть определённый factor, outcome и context.

Topic, problem и question играют разные роли

Каждая строка сужает пространство решений для следующей.

Пять тестов сильного research question

1. Clearчитатель понимает термины
2. Focusedодна центральная связь или проблема
3. Researchableна него можно ответить evidence
4. Feasibleхватает времени, данных и навыков
5. Analyticalответ требует рассуждения

Типы вопросов в IT-исследованиях

Worked example: от идеи к тестируемому вопросу

1. IdeaAI for code review (too broad)
2. Boundarynovice Python programmers (population, context)
3. FactorAI-generated feedback (intervention)
4. Outcomedebugging accuracy and time (evidence)

Question: Does AI feedback improve debugging accuracy and completion time for novice Python programmers? Вопрос сразу показывает, какие данные нужны: accuracy scores и completion time от novice programmers.

Question vs objective

Alignment check: тот же factor, outcome, population и boundary. Вопрос и цель должны описывать одно и то же исследование.

Question clinic и критика

Шаги: Write (вопрос и цель) → Mark (factor, outcome, population, boundary) → Test (5 критериев) → Revise (убрать одно расплывчатое слово). Вопрос партнёру: What evidence could answer this?

Зачем поиск литературы до сбора данных

Поиск тестирует вопрос, а не просто собирает цитаты:

• Terminology — какие термины исследователи используют для того же понятия;
• Evidence — какие методы, датасеты и метрики уже существуют;
• Boundary — не слишком ли вопрос широкий, узкий или уже отвеченный.

Вопрос может измениться после первого серьёзного поиска, и это нормально.

Поиск — итеративный документированный процесс

1. Searchзапустить запланированный запрос
2. Screenпрочитать titles и abstracts
3. Selectприменить критерии
4. Extractзаписать полезное
5. Reviseулучшить термины и scope

Search Log сохраняет каждое решение, чтобы другой человек мог повторить маршрут.

Query design

Вопрос превращается в 2–4 searchable concepts. Не ищите весь вопрос как предложение. Пример: «How do Random Forest and XGBoost compare for phishing URL detection on imbalanced data?» → METHOD: Random Forest / XGBoost · TASK: phishing detection · DATA: URL / web address · CONDITION: imbalanced data.

Синонимы защищают от различий в словаре:

Берите термины из сильных статей, subject terms баз данных и словаря области. Каждый лишний OR может добавить шум.

Boolean logic: AND сужает, OR расширяет, NOT осторожно

Три элемента синтаксиса

• Quotation marks держат фразу вместе: "machine learning"
• Parentheses управляют логикой: (phishing OR "malicious URL") AND detection
• Wildcard ловит окончания слов: detect*

Query ladder

Выбор баз: по охвату, а не по удобству

Assignment 1 требует минимум две академические базы данных.

Scopus workflow

1. Document searchвставить balanced query
2. Field choicetitle, abstract, keywords
3. Filtersyear, subject, document type, language
4. Inspecttitle, abstract, keywords, venue, DOI
5. Saveэкспорт цитаты и запись в Search Log

Live rule: меняйте одно поисковое решение за раз.

IEEE Xplore

1. SearchGlobal или Advanced Search
2. Structureоператоры ЗАГЛАВНЫМИ, OR в группах
3. Focusсначала metadata, потом шире
4. Refinecontent type, year, author, topic
5. Verifyabstract, index terms, venue, DOI, access

• UPPERCASE: AND, OR, NOT работают как операторы.
• Parentheses: группы OR выполняются до AND.
• Quotes: точные фразы держатся вместе.
• Field search: "Document Title":phishing
• Несколько обычных слов подряд = implicit AND, но явная Boolean-структура понятнее.
• Поиск по metadata уменьшает случайные совпадения из full text.

Google Scholar и ACM DL

Google Scholar: Cited by, related articles, versions, date filters. Проверяйте запись источника перед цитированием. ACM DL: ACM journals, proceedings, computing topics; повторите запрос и запишите различия платформ. Discovery-ссылки (citation chaining) расширяют карту, потом возвращайтесь к записи статьи и venue.

Screening и документирование

1. Titleсовпадает с темой и контекстом?
2. Abstractпомогают вопрос, метод, результаты?
3. Recordясны venue, year, authors, DOI?
4. Full textподдержит synthesis или методические решения?

Citation count не заменяет relevance и methodological fit. Решение: include / exclude / uncertain + одна причина.

Диагностика: одобрили бы вы это?

• A. Скрейпить публичные профили и публиковать usernames. Публичный доступ не убирает риск для приватности: ожидали ли пользователи research use, нужны ли usernames, не раскроет ли их публикация?
• B. Удалить три низкие оценки, потому что «выглядят неправильно». Было ли заранее заданное правило исключения? Удаление неудобных результатов после их просмотра искажает исследование.
• C. Использовать ссылку, предложенную AI, не открыв её. Источник может не существовать или не подтверждать утверждение.
• D. Хранить аудио интервью в общей папке класса. Неконтролируемый доступ = проблема confidentiality.

Research integrity: две ответственности

Технически верное исследование может быть неэтичным: точная модель распознавания лиц, обученная на фото, собранных без разрешения. И наоборот: уважительное отношение к участникам не спасает слабый дизайн. Нужны обе стороны.

Research misconduct: FFP

Questionable research practices

Disclosure test: would a reasonable reader make a different decision if this were disclosed?

Кейс: команда тестирует 6 моделей и сообщает только лучший прогон → falsification (selective reporting искажает картину). Repair: определить правило отчётности до выбора результата; сообщать mean и variation по повторным прогонам; один evaluation dataset для всех моделей; primary metric заранее; любое исключение объяснять задокументированным правилом.

Researcher role: bias и reflexivity

1. Beforeзаявить ожидания, интересы, конфликты
2. Duringdecision log, критерии применяются одинаково
3. Afterсообщить исключения, неопределённость, ограничения

Reflexivity — это сделать решения видимыми, а не притворяться нейтральным. Шаблон: «I may favour ___. I will check this by ___.» (например: «я знаком с нейросетями, поэтому могу предпочитать их простым моделям»).

Informed consent — процесс, а не подпись

1. Understandцель, задачи, риски, использование данных
2. Chooseдобровольно, без давления
3. Withdrawпонятный способ отказаться и его пределы
4. Askконтакт для вопросов и жалоб

Consent должен соответствовать реальному workflow: запись интервью, загрузка транскрипта в сервис, повторное использование, публикация цитат не должны быть сюрпризом. Ключевые понятия: competence, autonomy, voluntariness.

Confidentiality ≠ anonymity

Data lifecycle (план до сбора)

1. Collectтолько то, что нужно вопросу
2. Storeзашифрованное или одобренное университетом место
3. Accessназванные люди и роли
4. Retainобоснованный срок
5. Delete / Shareметод, разрешение, запись

Never promise a protection your workflow cannot deliver.

Online research: публичное ≠ этически простое

1. Expectations — ожидали ли пользователи, что их пост станет research material и будет процитирован?
2. Sensitivity — точную цитату можно найти поиском; локация + должность + редкий опыт вместе могут re-identify человека.
3. Platform terms — разрешён ли автоматический сбор; агрессивный scraping создаёт операционные проблемы.
4. Presentation — даже агрегированные выводы могут стигматизировать маленькое сообщество или раскрыть уязвимость.

Legal access и ethical use связаны, но это разные вопросы. Для GitHub: нужно ли называть разработчиков, соблюдены ли лицензии и правила, не оценивает ли вывод человека вместо технического процесса.

Approval: если сомневаетесь, остановитесь

Ethics card (5 строк)

1. Dataчто соберёте?
2. Peopleкого это затронет?
3. Riskчто может пойти не так?
4. Safeguardчто снижает риск?
5. Evidenceкакой consent, approval или запись это доказывает?

Safeguard должен быть operational. Плохо: «we will keep the data safe». Хорошо: аудио хранится в зашифрованной университетской папке; доступ у двух названных членов команды; ключ имя–код хранится отдельно; файлы удаляются после указанного срока. Проверка партнёра: could I actually perform and verify this safeguard?

Source integrity: verification vs evaluation

Verification ladder

1. Readtitle и abstract соответствуют теме
2. Matchзапись издателя или trusted repository
3. ResolveDOI или Crossref metadata
4. Checkcorrections, retractions, version
5. Openmethod и results поддерживают claim

Нет DOI ≠ нет источника: легитимная работа может не иметь DOI, но иметь стабильную запись издателя или репозитория. Если источник unresolved — не цитировать его как подтверждённый evidence.

DOI — идентификатор, а не знак качества

То же с индексацией: наличие статьи в базе помогает найти её, но critical appraisal всё равно требует чтения.

Плагиат: сменить слова недостаточно

Плагиат касается не только слов: ideas, data, code, визуальные материалы тоже требуют атрибуции. Записывайте источник во время конспектирования.

• Quote — точная формулировка; редко, когда важны сами слова.
• Paraphrase — идея одного источника своими словами и структурой + ссылка.
• Synthesis — связь между несколькими источниками → аналитический вывод.

Credit: authorship, acknowledgement, conflicts

Contribution

Авторство отражает значимый интеллектуальный или практический вклад, а не статус, дружбу или удобство.

Responsibility

Автор может объяснить и защитить свою часть работы.

Acknowledgement

Помощь, не дающая права на авторство (техническая помощь, оборудование, языковая или административная помощь), указывается в благодарностях.

Conflict

Финансирование, работа, личные связи, собственность раскрываются. Раскрытие помогает читателю оценить контекст и не является обвинением.

Honorary authorship искажает ответственность. В командных проектах contribution statements пишут рано и обновляют.

Использование AI

AI verification contract

1. No sourceни одна сгенерированная ссылка не попадает в работу, пока не открыта
2. No claimни одно сгенерированное утверждение без evidence
3. No secret dataданные участников не идут в неодобренный инструмент
4. No hidden roleиспользование AI раскрывается по правилам курса

Студент отвечает за каждый источник, утверждение и предложение.

Mendeley workflow

1. ImportPDF, Web Importer или вручную
2. Verifytitle, authors, year, venue, DOI
3. Organisecollection, tags, notes
4. Readвыделения и аннотации в PDF
5. Citeцитаты и библиография в Word

• Демо импорта: Add → Open details (сравнить с первой страницей статьи и страницей издателя) → Correct (title case, полные имена авторов, year, venue, volume/pages, DOI) → Confirm (открыть DOI или стабильный URL).
• Организация: Collection «Assignment 1 — core papers»; Tags: method · dataset · domain · finding; Annotation — почему фрагмент важен; Note = claim + evidence + limitation + possible use. Теги последовательно: одно понятие не должно иметь трёх написаний.
• Mendeley Cite в Word: поставить курсор → открыть Mendeley Cite → Insert citation → выбрать style (по требованию задания или журнала) → Insert bibliography → проверить каждую запись.

Важность литературы

Исследование нельзя вести «from a platform of ignorance». При учёбе цель — самообразование, а при исследовании вы производите знание, которым будут пользоваться другие. Новое знание зависит от прошлого: невозможно добавить к body of literature, не зная его. Работа с литературой кажется тяжёлой из-за множества целей, объёма, сложности поиска и управления, противоречий, необходимости формального обзора и нехватки опыта.

Working with literature: четыре области

Роль литературы на каждом этапе

Типы литературы

Discipline-based reference materials

Предметные справочники помогают новичку разобраться в терминах, конструктах и теориях области.

Books

Вводные и продвинутые тексты, антологии, отчёты, нон-фикшн и даже художественная литература для фона, теории и метода. Из-за долгого производства самые свежие исследования чаще в журналах, а не в книгах.

Journal articles

Центральны для literature review: для академической аудитории, обычно peer reviewed (прошли порог доверия), регулярно выходят и узко специализированы, поэтому актуальны и релевантны.

Grey literature

Опубликованные и неопубликованные материалы без ISBN или ISSN: conference papers, неопубликованные диссертации, газетные статьи, памфлеты и брошюры. Свежие диссертации и доклады — источник оригинальной работы; газеты и брошюры дают фон или материал для document analysis.

Official publications, statistics and archives

Фон и контекст, помогают обосновать исследование; источник primary data (document analysis) или secondary data (статистический анализ).

Writing aids

Библиографические справочники, словари, энциклопедии, тезаурусы, альманахи, ежегодники, сборники цитат: для стиля, проверки фактов и ссылок на них.

Calling on experts и базы данных

• University librarian — эксперт по поиску, проводит обучение; многие библиотекари закреплены за областью (subject specialists) и знают нужные базы, журналы, библиографии.
• Academics — научные руководители, профессора, преподаватели знают литературу и могут направить; полезно посмотреть их книжные полки.
• Академические сообщества: Academia.edu, ResearchGate.
• CrossSearch (библиотечный поиск) ищет по всем типам материалов, ранжирует по релевантности, фильтрует по году, формату, языку.
• Google Scholar: в Advanced search можно ограничить год и журнал. Совет: если не знаете названий журналов, впишите «journal» в поле Publication. Заходите через сайт университета, чтобы бесплатно получать полные тексты из подписок.

Honing your search skills

Нужно выразить тему, подтемы, переменные, теории, теоретиков, методы и ключевые понятия в виде keywords и искать по одиночным и комбинированным запросам.

Пример: body piercing (earrings, nose rings…) + teenagers (girls, boys, youth, adolescents) → результатов много → добавить переменные: rebellion, rites of passage.

• Сузить: добавить keywords (family background) или теоретика (Foucault).
• Расширить: убрать keywords; также можно менять их местами.
• Venn diagram показывает пересечения ключевых понятий; некоторые пересечения дают мало литературы.

Copyright

Copyright — исключительные права создателя на оригинальную работу (обычно на ограниченный срок). Копировать можно в рамках fair dealing (страны Commonwealth) или fair use (США).

В Австралии для учёбы и некоммерческого исследования можно скопировать:

• 5% или одну главу книги;
• одну статью из номера журнала или газеты;
• один доклад из сборника конференции;
• одно дело из тома law reports;
• короткие литературные тексты до 10 страниц;
• одну (бумажную) копию веб-материала, если на сайте не указано иное.

Для диссертации можно делать столько копий, сколько нужно для оценки, при правильной атрибуции. Правила разные в разных странах.

Managing the literature

Assessing relevance

Статья: смотрите abstract / executive summary. Книга: оглавление, аннотация на обложке, введение, выводы глав и общий вывод. Совет: стикеры трёх цветов (по одному на понятие) и ранг 1 (minimally) / 2 (somewhat) / 3 (highly relevant).

Assessing quality

Релевантно ≠ качественно. Даже для peer-reviewed статей спрашивайте:

• Have researcher subjectivities been acknowledged and managed?
• Have they used logical methods that lead to valid and/or authentic truth?
• Are their methods approached with consistency?
• Are arguments relevant and appropriate?
• Can the research be audited/verified?

Being systematic

Храните копии, не давайте «единственные экземпляры», ведите точные цитаты. Сразу узнайте рекомендованный стиль и возьмите style guide. Программы: ProCite, Mendeley, EndNote, Reference Manager автоматически форматируют ссылки в стилях Harvard, APA, Vancouver. Делайте резервные копии всего.

Annotating references

Citation

Полная библиографическая ссылка.

Author / Audience

Кто пишет (квалификация: профессионал, политик, исследователь, неизвестный) и для кого (академическая аудитория, широкая публика, клиенты).

Summary

Ключевые моменты; длина «it depends»: менее релевантное — 1–2 предложения. Не доверяйте памяти.

Critical appraisal

«Critical» = informed and considered evaluation, а не негатив. What did I really think of that and why? Новое? Старое? Пересказ? Есть ли изъяны в методологии?

Relevance

Как работа соотносится с вашим исследованием: теория, методы, изъяны, полезные цитаты. Look to be inspired, look to be surprised.

Пример из лекции: O'Leary (2001a) «Conversations in the Kitchen» — анекдот о трудностях студентов, совмещающих семью и учёбу; тёплый стиль, но не исследование с данными, поэтому нельзя оценить масштаб проблемы; связан с более строгими работами Field & Howard (2002) и Dreicker (2003); пригодится для цитаты.

Формальный literature review

Это особый вид argumentative writing, основанный на критическом обзоре журнальных статей, который создаёт «space» для вашего исследования. Нужно сравнивать, противопоставлять, синтезировать и аргументировать.

Purpose: формальный обзор должен

1. Inform readers of developments in the field — актуальный обзор теорий, методов и исследований по теме.
2. Establish researcher credibility — показать, что вы в курсе области, новых разработок и научных дискуссий.
3. Argue the need for, and relevance of, the study — поместить работу в контекст прошлых исследований и выявить gaps.

Table 6.1: reviewing the literature vs the «literature review»

Плагиат в literature review

Cut-and-paste — это неправильно (кража), может стоить места в программе и не даёт хорошего обзора (нет аргумента). Plagiarism — когда слова, идеи или данные другого человека не указаны и выдаются за свои. Нельзя:

• копировать идеи, фразы, абзацы, диаграммы или изображения без ссылки;
• платить кому-то за написание;
• скачать работу и сдать как свою;
• копировать у другого студента без указания;
• указать источник в библиографии, но не сослаться в тексте;
• пересказать чужую идею своими словами без ссылки;
• цитировать речь или лекцию без указания спикера.

Процесс написания (15 шагов)

1. Ongoing process — обзор формирует вопрос, теорию и методы, а они задают рамки обзора. Это cyclical, «moving target».
2. Прочитать несколько хороших обзоров.
3. Определить переменные (body piercing; teenagers; rites of passage).
4. Составить список синонимов и альтернатив.
5. Поместить термины в Venn diagram.
6. Искать в базах (или спросить библиотекаря) по комбинациям переменных и синонимов.
7. Собрать цитаты с abstracts.
8. Прочитать abstracts и отсеять нерелевантное; ранжировать остальное.
9. Решить: копать глубже или сузить. Сузить: добавить переменные и/или ограничиться последними 5–7 годами, selective/representative coverage. Расширить: изменить переменные, увеличить период.
10. Систематически вести список (вручную или ProCite / EndNote / Reference Manager).
11. Читать и аннотировать: author/audience, key points, critical comment, relevance.
12. Сортировать аннотации: темы, проблемы, общие недостатки, паттерны.
13. Набросать outline; главный аргумент — почему ваше исследование нужно провести именно так.
14. Write purposefully — читатель должен понимать «point» каждого раздела.
15. Use the literature to back up your arguments — каждый абзац делает свой тезис, подкреплённый литературой.

Summary

• Хорошее исследование требует работы с topical, methodological и theoretical литературой.
• Типы: reference materials, books, journals, grey literature, official publications, archives, writing aids. Привлекайте librarians, supervisors и других исследователей.
• Нужны навыки keyword search и быстрого отсева по relevance и quality.
• Аннотация: citation, author/audience, summary, critical commentary, relevance.
• Формальный обзор информирует о теме, устанавливает credibility и аргументирует необходимость работы. Требует терпения, практики и черновиков.

Четыре результата

1. Variable tableопределение, роль, evidence для каждого construct
2. Conceptual modelожидаемые связи до выбора методов
3. Hypotheses3 утверждения об измеримой связи или различии
4. Measurement planindicator и источник данных для каждой переменной

Каждый элемент проверяется вопросами: можем ли мы это наблюдать? можем ли объяснить, почему это в модели?

Topic vs research model

Research question управляет framework

1. Populationкто/что даёт evidence
2. Contextгде и при каких условиях
3. Variablesкакой фактор объясняет изменение, какой outcome его фиксирует
4. Relationshipсравнение групп, association, prediction или процесс

Типичная ошибка — сначала нарисовать много стрелок, потом написать вопрос. Порядок обратный. Пример: «How does AI assistant use relate to task completion time among third-year programming students during debugging tasks?»

Три задачи conceptual framework

Explain

Связать проблему с понятиями, подтверждёнными прошлыми исследованиями.

Select

Обосновать, какие переменные входят в исследование, а какие правдоподобные факторы остаются за его рамками.

Predict

Указать ожидаемое направление или форму связей.

Framework — это аргумент о логике исследования, а не декоративная диаграмма; «compact contract» с читателем.

Construct → Variable → Indicator

Construct

Абстрактная идея: trust, usability, cognitive load.

Variable

Определённая характеристика, которая различается между людьми, системами или наблюдениями.

Indicator

Конкретный вопрос, балл, событие или измерение, которым фиксируется переменная.

Пример: usability → perceived ease-of-use score → mean of six survey items. Два исследования могут называть одно и то же разными мерами: trust через опрос и reliance через принятие рекомендации. Это связанные, но не идентичные меры.

Роли переменных

Predictor (X)

Фактор, связанный с изменением: AI assistant use.

Outcome (Y)

То, что исследование объясняет: task completion time.

Control (C)

Правдоподобное альтернативное влияние: task difficulty (сложные задачи увеличивают время независимо от ассистента). Контроль должен иметь причину быть в модели, а не быть списком всех доступных характеристик.

Типы переменных

Тип определяют до сбора данных: он влияет на визуализацию, статистические тесты и интерпретацию.

Operationalisation

От вывода литературы к связи в модели

1. Repeated evidenceнесколько исследований связывают фактор и outcome
2. Reasoned mechanismобъяснение, почему фактор может влиять
3. Proposed relationshipсвязь, которую проверит новый проект

Evidence поддерживает стрелку, но не гарантирует результат в новом контексте.

Correlation vs causation

Язык гипотезы должен соответствовать силе дизайна. Cross-sectional observational data → «is associated with», «predicts statistically», а не «causes».

Confounder

Prior programming skill влияет и на использование ассистента, и на скорость → может создать убедительную, но ложную связь. Переменная становится confounder из-за места в причинной истории, а не потому, что программа пометила её significant.

Правила диаграммы (Pearl, 1995)

• Nodes — каждый блок = одна чётко определённая переменная или construct.
• Arrows — каждая стрелка = предполагаемое направление, которое текст обосновывает. Отсутствие стрелки тоже о чём-то говорит.
• Boundaries — модель этого исследования, а не всех возможных влияний в мире. Перегруженная диаграмма = несфокусированный проект.

Worked example: AI coding assistant

Main question: Does assistant use relate to faster task completion, and can cognitive load explain part of that relationship? Есть прямой путь (инструмент генерирует код) и косвенный (через снижение cognitive load). Prior skill важен, потому что опытные студенты используют инструмент иначе и работают быстрее.

Technology Acceptance Model (TAM)

Davis, 1989, MIS Quarterly — разработал и валидировал шкалы для usefulness и ease of use.

• PU — Perceived usefulness: улучшает ли система работу → predicts acceptance.
• PEOU — Perceived ease of use: сколько усилий требуется → predicts acceptance и supports usefulness (PEOU → PU).
• USE — User acceptance.

Урок не в том, чтобы копировать TAM в каждый проект, а в том, что у каждого construct есть определение и шкала, а каждая стрелка — отдельное проверяемое утверждение.

Mediator vs moderator

Baron & Kenny (1986, Journal of Personality and Social Psychology) подчеркнули, что эти термины нельзя использовать как синонимы: различие меняет аргумент, данные и план анализа.

Гипотезы

Anatomy of a testable hypothesis

1. Variablesте же названия, что в framework
2. Relationshipassociation или различие групп
3. Directionhigher/lower только если литература поддерживает
4. Boundarypopulation или context

Among third-year programming students, greater AI assistant use will be associated with shorter debugging completion time.

Falsifiability: можно ли описать результат, который не подтвердит предсказание? Если любой исход объясняется как успех, гипотеза слишком гибкая.

Четыре гипотезы из одной модели

• H1: Greater assistant use → shorter completion time (главная связь).
• H2: Greater assistant use → lower cognitive load.
• H3: Lower cognitive load → shorter completion time. (H2 + H3 = медиация.)
• H4: Prior skill will moderate the relationship → требует interaction analysis, а не ещё одной корреляции.

Качество измерений

Мера может быть стабильной, но мерить не то. Для trust или cognitive load ищите established measures; для системных метрик определяйте границы событий и полноту логов.

Triangulation

Triangulation = комбинировать источники, потому что они дополняют друг друга, а не собирать больше данных без плана.

HARKing

Чек-лист framework (Week 4 checkpoint)

• Question — один сфокусированный вопрос, связанный с проверенной литературой (population + context).
• Variable table — role, definition, indicator, data type, source, expected limitation.
• Framework — 3–5 переменных с подписанными связями и цитатами.
• Hypotheses — 2–3 тестируемых утверждения на языке, соответствующем дизайну.
• Evidence — минимум один проверенный источник у каждой главной связи.

Ясная модель из трёх переменных сильнее диаграммы из десяти, которую нельзя измерить. Неделя 5: research design (experimental, observational, survey, case study).