Banyak orang sejak itu berkomentar tentang bagaimana liputan pers didasarkan pada hasil yang tidak dipublikasikan, tidak dinilai oleh mitra bestari (non-peer-reviewed). Adalah adil untuk mengkritik outlet media karena menyoroti penelitian awal seperti itu tetapi juga AHA untuk mempromosikannya. Tidak ada yang salah dengan presentasi poster dan penelitian pendahuluan, tetapi seharusnya ada lebih banyak kehati-hatian sebelum menyajikannya untuk konsumsi publik.

Di luar keberatan, sepintas lalu ini ada beberapa masalah yang lebih substantif. Penelitian ini secara alami bersifat observasional dan oleh karena itu rentan terhadap faktor-faktor yang dapat membaurkan hasilnya (confounding). Para peneliti menyesuaikan variabel yang relevan, tetapi seperti yang telah kita pelajari beberapa kali di masa lalu, pembaur residual selalu menjadi masalah potensial. Juga, para peneliti tidak memiliki informasi tentang kualitas diet peserta penelitian. Jika seseorang berbuka puasa 16 jam dengan junk food ultra-processed, jenis makanan mungkin lebih relevan dengan kesehatan kardiovaskular jangka panjang daripada saat dimakan. Orang-orang mungkin telah terlibat dalam puasa intermiten karena mereka memiliki rentang kerja atau jadwal tidur yang tidak teratur, yang merupakan faktor risiko kardiovaskular independen. Mungkin juga orang-orang mengadopsi makan yang dibatasi waktu sebagai strategi diet justru karena mereka berisiko tinggi terkena penyakit kardiovaskular, sebuah hubungan yang dapat dijelaskan dengan penyebab terbalik. Dapat dikatakan bahwa banyak faktor eksternal lainnya yang mungkin berperan di sini.

Selain itu, pola diet dinilai menggunakan dua kuesioner 24 jam dari NHANES. Kuesioner diet terkenal tidak dapat diandalkan dan tergantung hanya dari ingatan peserta. Tapi di sini terletak akar masalahnya. Pola diet, terutama yang mengikuti keinginan budaya popular, bisa berubah dengan cepat tergantung popularitasnya saat itu. Masalah terbesar terletak pada sebagian besar diet adalah kepatuhan peserta diet. Peneliti tidak akan mendapat cerminan sejati dari diet seseorang secara keseluruhan hanya dengan menggunakan satu titik waktu (atau rata-rata dua titik waktu) untuk menilai diet yang secara alami berubah dan berfluktuasi seiring waktu. Salah satu faktor terpenting (dan yang jarang dibahas) adalah kesempatan terjadinya peluang teracak. Sampai poster diunggah untuk dilihat semua orang, siaran pers tidak menjelaskan dengan tepat berapa banyak analisis yang dilakukan dalam proyek ini. Ternyata terdapat 36 analisis statistik dalam makalah ini.

Peserta tidak dibagi menjadi kelompok puasa intermiten dan kelompok kontrol; mereka dibagi menjadi subkelompok berdasarkan durasi makan (< 8 jam, 8-10 jam, 10-12 jam, kelompok referensi 12-16 jam, dan > 16 jam). Setiap subkelompok diuji terhadap tiga hasil: kematian kardiovaskular, kematian akibat kanker, dan kematian semua penyebab. Akhirnya, para peneliti melihat populasi pasien secara keseluruhan, subkelompok orang dengan penyakit jantung yang sudah ada sebelumnya, dan subkelompok orang dengan kanker. Dalam banyaknya analisis ini sebagian besar negatif. Puasa selama lebih dari 16 jam dikaitkan dengan kematian kardiovaskular yang lebih tinggi (tetapi tidak secara keseluruhan atau terkait kanker). Temuan ini menghasilkan semua berita utama.

Tetapi makan lebih dari 16 jam per hari (dalam pengertian ini sepertinya peserta berhenti makan hanya untuk tidur) dikaitkan dengan kematian akibat kanker yang jauh lebih sedikit, jika peserta memiliki diagnosis kanker yang sudah ada sebelumnya. Sepertinya tidak ada yang menyebutkan ini, mungkin karena makan terus sepanjang hari tidak mungkin menjadi jalan yang bermanfaat untuk pencegahan penyakit.

Hasilnya ternyata sebagian besar analisa adalah negatif. Ada sinyal bahaya dan manfaat yang terisolasi dengan subkelompok ekstrem dari populasi pasien, sedangkan tidak ada efek untuk sebagian besar populasi pasien yang memiliki pola makan yang cukup konvensional.

Peneliti seringnya tidak pintar dalam mengidentifikasi dampak dari kesempatan acak dalam suatu penelitian medis. Ketika kita melihat hasil yang tidak terduga, kita cenderung berpikir “terobosan,” bukan “outlier.” Dan ini mungkin terjadi di sini. Terlepas dari semua kritik lain tentang sifat awal analisis, ketidakakuratan kuesioner diet, dan masalah pembaur residual, ini pada dasarnya adalah studi null secara biostatistik. Akan banyak pertanyaan yang harus dijawab oleh peneliti, misalnya apakah hasil ini dapat direplikasi oleh kelompok lain di kumpulan data lain, apakah manuskrip akan lolos review oleh mitra bestari jurnal, dan sebagainya. Semua ini adalah pertanyaan relevan yang seharusnya ditanyakan sebelum liputan media membawa penelitian ini menjadi perhatian masyarakat umum.

Tidak ada yang salah dengan presentasi poster, penelitian pendahuluan, dan abstrak konferensi. Tetapi pengumuman atau coverage press seharusnya berhati-hati dan tidak boleh membuat berita bombastis yang mendebarkan hati. Para pembaca mempunyai hak untuk mendapat berita dan cerita yang sebenarnya. Para peneliti bisa menunggu waktu yang tepat dalam memastikan kesahihan data sebelum mereka mengumumkannya kepada khalayak dunia.