הרב אליעזר יהודה וולדנברג זצ"ל (שו"ת "ציץ אליעזר", חלק ו, סימן מ, פרק כב; חלק ז, סימן מו) כתב שמותר להתייחד עם זקן שתש כוחו, או מי שאין לו גבורת אנשים. במקום אחר (שו"ת "ציץ אליעזר", חלק ח, סימן יד, אות ז) הביא מדברי בעל ה'חת"ם סופר' שהקשה על מה שכתוב בפרשת וישב "ויהי כהיום הזה ויבא הביתה לעשות מלאכתו ואין איש מאנשי הבית שם בבית", איך יוסף הצדיק התייחד עם אשת פוטיפר? בעל ה'חת"ם סופר' יישב שמובא במדרש רבה על פסוק זה "ואין איש", שראה עצמו שאינו איש, כלומר שלא היתה לו גבורת אנשים להתקשות. הרב וולדברג כתב שאף על פי שמדובר כאן על דברי אגדה, בכל זאת, מכך שנתיישבה דעתו של בעל ה'חת"ם סופר' ביישוב זה יש ללמוד שהיה פשוט לו להלכה שמותר להתייחד עם מי שאין לו גבורת אנשים.
אבל, הרב שלמה זלמן אויערבאך זצ"ל ("שולחן שלמה", ערכי רפואה, כרך ג, עמ' נו) פקפק על היתר זה, כיון שבעל ספר "זכרון עקידת יצחק" (מובא בספר "אוצר הפוסקים", חלק ט, עמ' קכח) שמע מפי מוהרי"ז מינצברג זצ"ל, שאין ספק שזקן, תש כוחו והסריס אסורים בייחוד. הרב אויערבאך גם ציין לדברי הרשב"א שאיסור ייחוד הוא אפילו לחולה שנוטה למות וגוסס.
נציין שהרב משה פיינשטיין זצ"ל (שו"ת "אגרות משה", אבן העזר, חלק ד, סימן סה, אות י) סבר שאם נאמר שיש איסור ייחוד במקרה של דאורייתא [עריות], גם עם זקן ותש כוחו, הרי כן יהיה הדין במקרה של דרבנן, כגון בפנויה שהיא לא נידה. רבנן כעין דאורייתא תקון. אבל, הוא כתב שלא מסתבר לומר שבמקרה של ייחוד מדאורייתא אסור להתייחד גם עם זקן ותש כוחו, שהרי כל הטעם לאסור ייחוד הוא משום חשש קפיצת יצר. מצינו שמתירים ייחוד עם אחותו במקרה שלא דר עמה בקביעות, וכן אנחנו מתירים ייחוד כשפתח פתוח אם לבו לא גס בה, אבל אם לבו גס בה אסורים. אם היינו אומרים שאיסור ייחוד עם האשה הוא בכל מקרה, גם כשאין חשש של קפיצת יצר, הרי לא היה מקום לחלק בין שלבו גס בה, ובין שאין לבו גס בה. לפיכך, הוא דחה את דברי בעל ספר "זית רענן" שסבר שבמקרה של ייחוד דאורייתא, אסור להתייחד גם עם זקן ותש כוחו. אבל, הרב פיינשטיין כתב שאף על פי שמדאורייתא מותר להתייחד עם מי שזקן ותש כוחו, בכל זאת, יש לומר שאין להתיר כיון שאי אפשר לדעת זה בוודאי בזקנים וחלושים שנתמעטה התאווה והרצון. רק במקרה שהוא חולה ושוכב במטה וידוע על פי רופאים שלא יכול להתקשות ולבעול, אין איסור. אבל, במקרה של ייחוד מדרבנן יש להתיר בכל זקן.